Comment s'éloigner d'un ami sans le perdre ?

Alors que j'étais en couple, un ami d'un groupe associatif m'a fait des avances que j'ai déclinées il y a quelques mois de ça.
Je suis célibataire et lui aussi depuis quelques semaines, et le voilà soudainement plus proche : il m'écrit beaucoup de sms, auxquels je réponds, il m'appelle aussi.
Il m'a proposée des sorties à deux que j'ai systématiquement refusées.
Il a cherché à comprendre pourquoi je les refusais. J'ai dit préférer les sorties en groupe et garder la relation telle quelle, amicale.
Il a reconnu se poser à nouveau des questions sur notre relation amicale, et être attiré, mais respecte mon choix et veut conserver notre relation d'amitié.

Mais voilà après cela il m'a réécrit un sms le lendemain matin pour prendre des nouvelles et me souhaiter une bonne journée.
J'ai d'abord utilisé l'humour en lui disant que nous devions arrêter les sms matin et soir ou on nous prendrait pour un vieux couple, et j'ai finalement été beaucoup moins pédagogue, je m'en veux un peu de l'avoir rembarré.
Je crains d'avoir alimenté ce rapprochement ces dernières semaines en entretenant la communication avec lui.

Je crois l'avoir blessé, il semble seul. Et à la fois, je me sentais étouffer par ce rapprochement. Je sais qu'il traverse une période difficile et j'ai peur qu'il me voit comme une confidente (ou une bouée) à qui il peut déverser toute son angoisse et son anxiété.
Je redoute un peu la prochaine fois où l'on se verra en groupe.

Merci