Famille recomposée et des choix impossibles à faire

J'ai deux garçons ados nés d'une première union, 15 et 17 ans. J'ai refait ma vie depuis plusieurs années avec un nouveau conjoint et nous avons eu un bébé. Entre temps mon conjoint a eu une super opportunité professionnelle dans une autre ville, et étant à mon compte je navigue une semaine sur 2 entre notre ville d'origine et la ville où il est installé à 3h de route. Une semaine sur 2 je suis donc seule avec mes 3 enfants et l'autre semaine avec mon conjoint et le bébé. C'est difficile mais cela est pour moi le parfait équilibre pour tout le monde (malgré une fatigue extrême de mon côté car je me déplace tous les week-ends d'un côté comme de l'autre) le problème est que mon conjoint me met la pression et un ultimatum pour le rejoindre dans cette ville, mais forcément je verrais moins mes ados. Chose que j'ai du mal à accepter et à envisager. Mon conjoint souffre de la situation car il aimerait tjs être avec nous ce que je comprends mais je souffre qu'il me demande cela. L'ultimatum est que si je ne le rejoins pas cet été, on se sépare car il veut se projeter et construire notre vie de famille dans sa ville.
Le deal de départ était que j'acceptais et le soutenais dans sa vie professionnelle, à condition que cela ne change pas mon rythme de vie avec mes ados... Et qu'on trancherait à l'entrée à l'école de notre bébé. Mais il a changé d'avis au bout d'1 an.
Nous n'arrivons plus à communiquer et chacun campe sur ses positions, que faire ? Pour info, mes ados et lui ont une relation cordiale, mais pas complice.