Que faire face à une demande de couple

Je suis une femme de 36 ans, mariée depuis 11 ans et en couple depuis 15 ans, mère d'une petite fille de 8 ans. J'ai eu dans l'enfance de nombreuses carences affectives, j'ai eu un schéma d'attachement insécure, et j'ai été élevée avec des principes religieux très stricts. Très vite j'ai appris à ne pas dire la vérité à mon entourage pour avoir un peu de liberté, et à taire mes ressentis et sentiments. J'ai toujours donné l'image de la bonne élève, la gentille personne toujours prête à se mettre en 4 pour les autres et je cherchais l'approbation en permanence.
La communication est très difficile dans mon couple depuis toujours. Mon mari est franc et capable de communiquer avec franchise. Il est parfois colérique, et abrupt ce qui m'effraie. Je sais qu'il dira toujours les choses, même si parfois je ne suis pas prête à entendre ce qu'il va me dire. De mon côté, je me replie sur moi-même et je ne parle pas, toute discussion provoque chez moi un état d'angoisse difficile à supporter. Cela le fait enrager depuis toujours.
Notre relation a eu des hauts et des bas pendant des années, avec une vie intime en dents de scie et de nombreuses années de vide. Je n'ai jamais su lui dire au moment ce que je désirais ou ce qui pouvait me peiner, me manquer etc. Je me disais toujours que ça allait passer, et j'essayais de faire plus d'efforts pour compenser. Il a été patient, même s'il ne pouvait pas toujours cacher sa frustration.
Il y a 4 ans j'ai eu une aventure extra-conjugale que j'ai essayé de cacher à mon conjoint. C'était une relation-objet sans sentiment à laquelle j'ai vite mis fin. J'ai ressenti le besoin de faire cette expérimentation car je n'ai jamais eu d'aventure avant mon mari (juste un petit ami brièvement au lycée quand j'étais encore immature) et que j'avais besoin de me sentir désirée, et de ressentir du frisson dans un quotidien morne. Mon mari l'a découvert et son monde s'est effondré. Il en a tellement souffert que notre relation n'a jamais plus été la même. Il est incapable aujourd'hui de voir notre mariage de la même manière qu'avant, en se suffisant l'un à l'autre. Son regard a changé, je ne me sens plus aimée. De mon côté, je vis dans la culpabilité depuis 4 ans. Je suis certaine de vouloir sauver mon couple, je fais tous les efforts possibles pour le contenter, lui donner envie de rester avec moi.
De son côté, il a eu une aventure (et m'en a parlé) avec une femme juste pour un weekend en utilisant une plateforme. Mais depuis quelques mois il s'est rapproché de son ex petite amie (elle-même en couple de son côté), avec qui il a eu une relation très intense avant notre rencontre, et me demande d'avoir la liberté de découcher pour aller la retrouver. Il me dit que ça lui permet de se sentir mieux dans notre couple car il ne se sent plus enfermé, que ça lui redonne de la joie de vivre et l'envie d'être près de moi. Que cela lui appartient et ne devrait pas créer de malaise chez moi vu que ça ne touche pas (ou touche favorablement) notre relation.
De mon côté, je ne me sens pas de m'y opposer ouvertement car j'ai le sentiment d'avoir ouvert la boite de pandore et devoir en assumer les conséquences. Mais le fait de ne pas lui suffire et de le savoir avec une autre me rend profondément malheureuse. J'angoisse, je ne dors plus, je ne mange plus dès qu'on approche d'un weekend d'escapade. Je me demande ce qu'il fait, ce qu'ils partagent, ce que je fais moins bien.
Je ne sais pas si c'est lié à mon passé, que je suis outrancièrement possessive, ou si c'est un malaise légitime.
Je ne sais pas quoi faire pour dépasser tout ça. Dois-je me résoudre à mettre fin à notre relation, dois-je apprendre à vivre avec cette nouvelle définition de notre couple ?