Conflit compagnon avec mes prise de décision pour les enfants

Bonjour

Je suis avec qq un depuis plusieurs années mais nous ne vivons pas ensemble .
Je suis mère solo de 3 enfants et gère les gère seuls, le père ne les prends que le WE.

J ai un gros conflit avec mon compagnon pour qui je soutiens tjrs la fille , et qui n accepté pas que je change les choses prévu pour assister ma fille.
Par ex si c est prévu qu on se voit le WE, il impose aucun imprévu avec ma fille du genre aller la ramener chez un copain, ou qu un de ses amis vienne chez moi si il est la.

A nouvel an il a imposer que si la fille voulait rester avec nous ( au lieu d aller ses chez amis comme prévu) son copain ne pouvait pas rester.

Il dit que ma fille le retourne la tête, me manipulé et que c est une fouteuse de merde..
Quand je lui aie dit que je vais plus travailler les WE et que je devrais aussi voir mes amis, il a mal réagit en disant que je ne faisais pas ma démarche pour notre couple mais pour voir mes amis.
Bref en gros j ai l.imptesdion que dès que j' ai un WE de libre je dois lui consacrer .
J ai peur de la relation toxique car ses mots me font souffrir et je me sens pas considéré dans mes besoins.
Étant mère solo c'est compliqué pour moi.
Je ne sais pas si c est moi qui est en faite ou lui qui est intolérant.
Surtout qu il justifie son agressivité par le fait que moi je ne réagit pas et son ras le bol que je ne l écoute pas.
Aide moi à y voir plus clair