Mon fils s'éloigne de moi

Bonjour, cela fait quasiment 3 ans que je suis séparé de la mère de mes enfants. J'ai réussi à en avoir la garde 1 semaine sur 2 suite à différents soucis de la mère (alcoolisme etc...). Une aemo avec une éducatrice a été mise en place (cela se passe bien mais c'est trop léger je trouve).
Bien que j'appelle mes enfants au tel quant ils sont chez leur mère, que je fais des activités avec eux quand ils ont chez moi, et que je les cadre avec des règles (que je ne fais pas respecter tout le temps) mon fils de 14 ans n'aime pas venir chez moi et sa sœur de 11 ans suit le meme chemin. J'ai beau essayer de savoir pourquoi je n'ai aucune réponse de leur part hormis que mes règles sont nulles et des "je sais pas". De plus ils ne cherchent jamais à m'appeler chez leur mère et ne ressentent pas d'empathie sur ce que je ressens. Je ne sais pas si je dois accepter le fait que mon fils ne vienne pas aussi souvent que sa soeur chez moi pour faire évoluer notre relation et ne pas le perdre. C'est ma hantise qu'il m'oublie et ne cherche plus à me voir plus tard. Comment faire pour améliorer ma relation avec eux.