Relation avec un homme étant à la fois HPI et Asperger

Bonjour,

J'entretiens depuis presque 1 an une relation que je qualifierais d'Epistolaire avec un homme qui m'avoue il y a quelques mois être atteint du Syndrome d'Asperger léger + HPI.

Cela a expliqué les incompréhensions que j'ai pu avoir lors de nos premières rencontres et interactions.
Cependant en 1 an nous avons réussi à nous voir que 5 fois. Nous avons tous les deux un planning chargé.
Aussi son attitude m'a fait douté et j'ai arrêté la relation à deux reprises . Il est revenu à chaque fois et nous avons continué à échanger. mais je sentais qu'il fallait "regagner sa confiance".

A chaque fois que nous devons nous voir, il recule, évite, ou ne répond plus aux messages. Il se déconnecte parfois ou me bloque. Lorsque c'est moi qui ne suis pas disponible, je le sens très proche et insistant pour que je vienne.

En fonction de son envie, Il agit souvent sous impulsion, sur le vif, sur le moment et en général après sa journée.
Il m'exprime son envie forte et intérêt de me voir. mais rien.

Quand il recule face à l'action, il s'excuse, il partage parfois ses névroses. Il m'avoue qu'il doit terminer une tache jusqu'au bout avant de passer à autre chose. IL m'avoue être très fatigué après le travail.

Son attitude envers moi peut parfois devenir obsessionnel et fantasmagorique , il peut faire des "fixettes" sur un sujet qu'il répète sans cesse. IL peut se braquer d'un coup , assez impulsivement et ne plus répondre et il revient quelques jours après.
Je le sens jaloux car il me demande des comptes sans cesse.
Parfois il peut être doux, dans l'échange , parfois cassant sans aucune forme d'empathie.
Ces attitudes sont parfois angoissantes pour moi car je le sens "trop".

Je lui ai demandé ce que nous étions tous les deux , il me répond que nous sommes une histoire alors que nous nous sommes vus que 5 fois. Nous n'avons rien partagé réellement dans la vraie vie (restaurant, sorties..). Sa réponse m'a étonné.

Nous sommes très attirés l'un par l'autre et l'alchimie a été immédiate. Il me plait.
Mais cette situation est très déstabilisante car Je doute de son réel intérêt envers moi car il n'y a pas d'actions concrètes. J'aimerais avoir les bons réflexes. comment mieux communiquer même si nous avons avancé sur ce point car il se confie de plus en plus mais toujours de façon très succincte (très courts messages).
Ses attitudes me font douter sur sa sincérité et sa fidélité même s'il me dit être mono obsessionnel et ne pas pouvoir cumuler des relations.
Est ce l'attitude normale d'un homme Asperger en relation ?

Un grand merci pour vos avis et aide afin d'avoir une vision plus claire sur ma/cette situation.

A.