J'aimerai être accompagnée

Bonjour,
Je suis dans un parcours de pma depuis plusieurs années.
J'ai rencontré mon compagnon il y a plus de 3ans , j'avais 36 ans,et j'ai été préserver mes ovocytes pas longtemps après notre rencontre.
Quand je l'ai rencontré, il venait de se séparer de son ex , qui était alors enceinte de leur 2e enfant.
Il n'était donc pas prêt à en avoir un autre..ce que j'ai totalement compris .
Il a été donné son sperme tout en me disant de patienter.
J'ai donc attendu 3 ans plus tard pour recommencer une fiv..le temps presse et je ne voulais pas attendre d'avoir 40 ans.
J'ai donc fait un transfert le mois dernier, et j'ai appris la semaine dernière que j'étais enceinte. Et aujourd'hui il veut me quitter, me disant que ça va détruire ses enfants, que son ex va péter un plomb.
Je tiens à préciser qu'il n'a pas demandé de droit de garde pour ses enfants et qu'il les voit une fois par semaine chez elle.
Il a extrêmement peur de l'affronter et qu'elle l'empêche de voir ses enfants..
Je suis très triste de la situation, je sais qu'il m'aime et je ne comprends pas qu'il préfère me quitter plutôt que de lui faire face...
Il m dit c'est moi ou l'enfant..et fait chambre à part depuis le transfert de l'embryon..
Je ne sais pas quoi faire...j'ai besoin de conseil...je ne veux pas lui faire du mal et culpabilise de le mettre dans cette situation..