Un ami me calomnie, comment réagir ?

Un ami diffuse de fausses informations à mon sujet auprès d'un cercle d'amis communs.
Nous avions une bonne entente malgré ses avances répétées que j'ai refusées plusieurs fois (il y a 8 mois puis 6 mois). Cela me met mal à l'aise de devoir répéter 2 fois à un ami d'un groupe d'amis que je ne suis pas intéressée par ses avances.
J'ai plusieurs fois pris de la distance mais notre bonne entente ne m'a pas alertée et j'ai poursuivi les échanges tout en ayant clarifié mes intentions : amicales.
Depuis quelques semaines, et suite à de confidences sur des situations qu'il vivait, je l'ai trouvé envahissant et négatif malgré mes tentatives de le rassurer. J'ai donc espacé mes échanges.

Il a récemment quitté le groupe de discussion de nos amis communs et m'accuse d'en être la cause. Il dit à tout le groupe que je l'ai ghosté et profère des propos mensongers m'inculpant.
Il dit très mal vivre ma prise de distance et me reproche de le rendre malheureux.
Je trouve cela excessif et mensonger. Je ne l'ai jamais ghosté.

A plusieurs reprises, j'ai trouvé cet homme insistant avec moi. Lorsque je ne réagissais pas à ses messages, il me demandait s'il avait fait quelque chose de mal, si je lui en voulais.
Je trouve son comportement assez oppressant et sa réaction actuelle très manipulatrice et culpabilisante.
J'ai comme l'impression qu'il était attiré par moi et par cette même occasion s'estimait en contrôle d'une partie de moi.
Comme si, parce qu'il se faisait ses films romanesques avec moi, je lui devais exclusivité et réponse à ses sollicitations.

Nous avons échangé des messages écrits, dans lesquels il m'accuse d'être la raison de son mal-être. Il dit avoir des sentiments et ne pas supporter ma prise de distance d'une semaine.
Je me sens oppressée par les mots de cet homme et par sa réaction.
C'est un homme impulsif, et je le sens jaloux et possessif.

Que me conseillez-vous pour conserver une relation harmonieuse avec mes amis ? Je ne veux pas avoir à me justifier de ses mensonges auprès du groupe.
Quant à lui, sa réaction a cassé quelque chose en moi. Je me demande si notre amitié en était réellement ou s'il maintenait uniquement le lien pour obtenir davantage.
Peut-on être ami entre homme et femme quand l'un des deux est attiré ?
Merci pour votre lecture.