Infidélité et amour dans le couple

Avec mon compagnon, nous sommes ensemble depuis 10ans et avons deux enfants.
Nous avons évidemment vécu quelques phases de down au cours des années avec l'arrivée de nos petits mais depuis 3ans, notre sexualité est comblée, nous nous sommes redécouverts, nous dialoguons énormément, nous sommes dans un partage total du plaisir de l'autre et c'est assez "spectaculaire".
Comme nous avons la communication au coeur de notre couple, nous avions une fois abordé le sujet du couple libre, faisant suite à l'expérience d'un couple d'amis proches. Nous évoquions la possibilité de potentiellement y avoir recours si un jour notre sexualité ne nous satisfaisait plus mais que pour autant l'amour perdurait. Nous n'avions rien défini puisque non concernés.
Mais voilà qu'hier, au détours d'une conversation sur nos ébats de la nuit, plus que satisfesants au demeurant, mon conjoint revient à parler de la possibilité de s'ouvrir aux autres. Je lui dit que je n'y trouve à ce jour aucun intérêt personnellement mais insiste pour qu'il me dise pourquoi lui y pense, si il lui manque quelque chose dans notre relation etc.
Il me dit être plus comblé que jamais, que cette connexion que nous avons est extrêmement forte et qu'il n'y a rien à redire.
Mais il ressent parfois des pulsions, une envie d'avoir une relation sexuelle sans lendemain avec quelqu'un d'autre, et que la situation pourrait se présenter dans un avenir proche.
Il est artisan à son compte, en lien direct avec ses clients chaque jour, j'ai toujours émis dans ma tête l'hypothèse que ça pourrait arriver sans que je le sache, tout en mettant ma confiance en lui au dessus de ça.
Aujourd'hui je ne sais plus comment réagir, car il a l'honnêteté de m'exprimer ses ressentis, qu'il ne me le cacherai pas si ça devait arriver mais qu'il préférerais que la situation soit claire et assumée des deux côtés.
Dans un sens je lui en veux d'avoir envie de quelqu'un d'autre alors qu'il me dit être comblé, mais d'un autre côté, il n'a pas l'expérience que j'ai eu par le passé.
J'ai connu beaucoup (trop?) d'hommes car je refusais l'idée du couple mais avais beaucoup de désir dans ma jeunesse. Lui aussi contraire n'imaginait pas le sexe en dehors du couple et à 29ans, j'étais sa 4eme expérience sexuelle.
J'ai mal se l'imaginer donner le plaisir qu'il me donne à une autre, j'ai peur de lui refuser et qu'il me le cache, j'ai peur d'accepter et qu'il trouve plus de satisfaction ailleurs, je ne sais plus où placer ma confiance, et où se place notre couple dans une telle situation. Il n'y a pas tromperie si il a mon accord, pour autant, je sais que de mon côté je n'irais pas voir ailleurs donc il ne s'agit plus de couple libre, mais d'homme libre.
J'ai l'envie d'être égoïste et d'être là seule détentrice des plaisirs qu'il donne, mais j'ai aussi peur d'être égoïste en lui interdisant un "coup d'un soir".
Je suis perdue et ne sais plus où chercher des réponses..