Conjoint ne supporte plus mes enfant adultes

Bonjour
Je suis a nouveau en couple depuis 13 ans. Nous avons chacun 2 enfants (36,32 et 32,28) et avons une maison en commun.
Au début tt allait bien : mes enfants sont très actifs et expressifs et on les voyait très peu, les 2 autres sont a proximité et on les voyait souvent. Ils sont très froids mais je m'efforçais de faire le max pour eux malgré leur non reconnaissance.
Depuis 5 ans, mon conjoint ne supporte plus mes enfants : Mon fils ne venait pourtant qu'une fois par an (habite très loin) et ma fille 2,3 fois par an. A chaque fois c la crise, mon conjoint fait la tête et nous gâche le peu de temps qu'on passe ensemble, 2 repas et 2 nuit maxi !
Il y a 2 ans nous avons louer un gîte pour être tranquille et l'an dernier c mon conjoint qui est parti qqes jours.
Nos enfants sont des contraires aussi au niveau professionnel mais s'en sortent très bien.
Je voudrais pouvoir recevoir mes enfants qd je veux avec sérénité sans qu'on se dispute avant, pendant et après les rares nuits qu'ils passent ici mais on dirait que c impossible. Même qd il me dit qu'il va faire un effort il se permet des remarques désagréables qu'il ne fait pas dans les mêmes situations pour ses enfants!
On a vu un coach, un psy mais il n'arrive pas a se maîtriser qd ma fille passe une nuit, 3 fois dans l'année!
Par contre on voit ses enfants chaque mois avec lesquels j'ai des relations polies.
Je me demande si je ne vais pas me séparer pour retrouver mon style de vie plus ouvert que j'ai avec lui.
Mais en même temps j'adore le temps qu'on passe a 2.
Je ne sais plus quoi faire...