Rythme de garde pour un bébé de 7 mois

Bonjour,
Je vous contacte car je suis maman d'un petit garçon de 7 mois.
Je suis séparée du papa depuis le début de ma grossesse qui a été une grossesse surprise et pour laquelle le papa voulait que je recours à une IVG.
Malgré des rapports conflictuels qui s'en sont suivis, Monsieur a reconnu notre enfant.
J'ai donc accepté qu'il vienne à mon domicile quand il voulait et avec qui il voulait malgré nos différents (il venait 2x semaine souvent accompagné pour présenter notre enfant).
Cependant, lorsque notre fils a eu deux mois, il a fait la demande via un avocat d'obtenir une garde de 2x 2h/semaine à son domicile.
Cette demande à ce moment là m'a terrorisée car j'estimais que le lien d'attachement n'était pas encore créé et j'avais peur que ce soit néfaste pour notre fils comme pour moi.
Le juge a refusé cette demande et a autorisé une visite à mon domicile de 1x 2h/semaine.
Le prochain jugement arrivant, je me demande ce qui serait le mieux pour notre fils à l'heure actuelle.
Après ces trois mois écoulés, je suis assez interpellée par le fait que la relation entre eux n'est pas "fluide"/"naturelle". Il n'accepte pas de manger avec lui alors qu'il mange avec d'autres personnes qu'il voit moins souvent, c'est un bébé extrêmement souriant, qui a le contact facile, tout se passe bien à la crèche mais lors des deux heures j'observe ou entend au loin un bébé discret alors que notre enfant est dans son environnement habituel.
Monsieur me réclame 2x / 4h semaine à son domicile.
Ce que je pense être beaucoup d'un coup car il s'agit d'un environnement qu'il ne connait pas. J'aurai imaginé quelque chose de moins radical, quelque chose de progressif et surtout pas trop rapide au vu de son âge. Je ne veux pas que notre bébé développe un sentiment d'insécurité et j'aimerai éviter autant que possible des troubles d'attachement. Selon vos expériences, que me conseillez vous comme rythme?