Mon compagnon ne s’occupe pas assez de ses enfants et je culpabilise

Bonjour, je suis avec mon compagnon depuis presque 3 ans. Il a 2 enfants (garçon 8 et fille 10 ans) avec son ex-femme. La séparation a été vraiment horrible, elle et sa famille m’on même menacé. Mon compagnon était séparé, nous nous sommes mis ensemble dans cette période-là, alors que son ex-femme était partie du domicile vivre chez sa mère avec les enfants. Elle lui reproche de l’avoir trompé avec moi (alors même que c’est elle qui est partie).
Elle fait tout pour rendre les échanges entre les enfants et leur père compliqué. Elle le menace, l’insulte, parle en mal de lui (et de moi) devant les enfants. Indépendamment de cela, je trouve que mon compagnon ne fait pas assez d’efforts pour voir ses enfants et rester en contacts avec eux. Je sais que la situation est difficile, mais il peut ne pas les voir pendant 1 mois ou +. C’est toujours moi qui insistait pour qu’il les voit, leur parle… Il m’assure pourtant qu’ils lui manquent, mais les actions ne suivent pas. Il me disait être celui qui s’occupait le + des enfants quand il était avec son ex, mais je commence à douter: si c’était lui le parent le plus aimant, pourquoi ne pas les voir n’a pas l’air de l’affecter ? Ça me peine beaucoup et je crois que je culpabilise aussi, parce que j’ai l’impression que tout ça est de ma faute. Je ne me serais jamais mise avec un homme encore en couple, encore moins avec des enfants dans l’equation. Mais même s’il était séparé quand nous nous sommes mis ensemble, j’ai l’impression de « l’empêcher » de passer du temps avec eux.
Ça me touche d’autant + que j’ai eu une enfance très heureuse avec une famille très fonctionnelle et que j’ai l’impression de voler leur père à ces enfants.
J’ai essayé de lui en parler plusieurs fois, mais la situation n’a pas beaucoup évolué. Je ne sais pas comment gérer cette situation.
PS: Les enfants m’ont déjà rencontré, m’aiment beaucoup et me réclament également auprès de leur père.