Pourquoi est ce que je rejette le bébé de ma belle fille (fille de mon épouse)?

Bonjour,
Je vous écris car je suis totalement non réceptif au bébé de ma belle fille. Et je ne comprends pas pourquoi.
Pour situer le contexte, mon épouse à déjà deux enfants (16 et 22). Sa fille a accouché d'un petit garçon (préma) en début d'année dans un contexte compliqué (sans vrai domicile fixe, vivant à 500km de chez nous, papa/géniteur du petit absent). Le chemin a été compliqué avant qu'elle puisse avoir un toit et une stabilité obtenue depuis peu. Le petit est en bonne santé et adorale, ma femme en est gaga et c'est normal. Et lorsqu'on le garde de temps en temps pour soulager la maman, je suis dans le rejet total. Je n'arrive pas à m'impliquer, je suis bloqué. Je ne ressens pas d'émotions particulières alors que je pourrais partager le joie de ma femme, je suis froid et distant avec eux et je me renferme. Si je m'écoutais je crois que je partirais m'isoler.

En raison de divorce et remariage de mes parents, je n'ai que des demi frères et sœur dont deux demi frère du coté de ma mère avec qui j'ai grandit et avec qui j'ai 12 et 14 ans d'écart. Je suis l'ainé des deux familles. Je m'en suis beaucoup occupé lorsqu'ils étaient petit et j'ai toujours pensé qu'à cause de cela je n'ai jamais voulu d'enfants parce que je n'avais plus l'insouciance des jeunes parents qui découvre. Au final je pense que l'impact est plus profond que cela.

Le pire c'est que lorsque que nous sommes chez des amis les enfants viennent toujours me voir pour jouer. Je suis de nature calme. Je n'en suis pas gaga mais je ne court pas après eux pour autant comme certains qui courent après les enfants dès qu'ils en voient.

J'ai 14 ans de moins que mon épouse et comme elle a eu ses enfants jeunes avec le jeu des écarts d'âges je me retrouve à être grand père à bientôt 37 ans.
Avec le cumul bébé plus nouveau statut de grand père me pèse j'ai la sensation de prendre 20 ans dans la tronche. Pour ma femme c'est une cure de jouvence d'après nos amis.

Je sens ma femme triste et malheureuse à cause de ma froideur et de ma distance vis à vis du petit et je me sens totalement submergé par des émotions que je ne comprends pas et que je n'arrive pas à maitriser ou du moins laisser passer sans effets secondaires.

Peut être aurez vous des pistes de réflexions afin de comprendre cette réaction et améliorer cette situation?

Merci pour vos retours.