Mon fils ne veut pas aller chez ses grands parents

Bonjour,
Mon fils de 4 ans refusent d'aller passer quelques jours chez ses grands parents.
La situation étant un peu compliquée, ils ne me demandent jamais de le voir, n'appellent jamais, ect... Et lors des rares moments où ils voient mon fils, ils ont des comportements déplacés envers notamment la belle-maman de mon fils (chérie du papa avec qui nous sommes séparés depuis plus de 3 ans.)
Nous nous entendons tous très bien entre nous (le papa, la belle-maman et moi) et cela les dérange fortement (ils nous l'ont bien fait comprendre) notamment la très bonne entente entre la belle-maman et moi.
Je ne connais pas la raison du fait que mon fils ne veut pas aller chez eux, car il me dit qu'il ne sait pas.
Je ne veux pas le forcer à y aller car c'est contraire à mon éducation, je lui apprend le consentement et le respect et je pense que de le forcer serait justement irrespectueux envers ce qu'il veut/ressent/et besoin.
Je sais que les grands parents le prendront mal et "bouderont" quelques temps, mais ça, ce n'est pas grave, ça leur passera.
Ce que je souhaite surtout savoir, c'est est-ce que je fais le bon choix en acceptant qu'il n'aille pas chez eux quelques jours, alors que le papa a envie de le forcer à y aller quand même ?
Merci d'avance