Séparation et emprise

Bonjour,
Je vais essayer de résumer au maximum.
Je suis séparée depuis 8 mois d'une personne me faisant subir ainsi qu'à mes 3 enfants des violences psychologiques et verbales. Je n'ai jamais réussi à aller porter plainte faute de preuve car c' était seulement dans le noyau familial. Il n'y a que mes parents qui ont assistés à quelques scènes et qui en ont subis directement. Du fait de son travail, il n'était présent que les weeks ends et sur ces vacances. Je tiens aussi à préciser qu'il ne s'est jamais occupé de ses enfants, et que les derniers temps il préférait même rester à la maison que partir en vacances avec nous. Les seuls temps où nous étions tous présents étaient les repas où Mr nous hurlait dessus. Le reste du temps il préferait resté dans son atelier.
J'ai eu un électrochoc quand mon ainé me disait qu'il n'en pouvait plus quand son père était présent, qu'il en avait ras le bol de la vie. Depuis son départ, mon ainé a retrouvé uen joie de vivre, c'est une toute autre personne.
A ce jour, Mr n'a pas de logement adapté pour accueillir ces enfants donc continue à venir les voir à mon domicile.
D'un côté ça l'arrange ainsi que mes enfants car il ne reste en général pas plus de 30 minutes max 2h. Sauf que pour moi c'est difficile de l'avoir tous les weeks ends où il passe quand bon lui chante. Il appelle souvent le vendredi soir pour connaitre notre planning du week end. Je n'arrive pas à me reconstruire malgré un suivi par une association spécialisée dans les violences et un psy.
Tout le monde me dit que je dois lancer la procédure de divorce afin qu'il est un cadre mais je suis pétrifiée à l'idée que le juge lui octroit la garde 1 week end sur 2 et la moitié des vacances et qu'il arrive quelque chose à mes enfants car il ne voit le danger nulle part. Il en ai pas capable, il le sait, je le sais aussi. (Je précise qu'il a déjà eu un enfant d'une précédente union) Il est très fragile émotionnellement. Il le sait très bien mais sur les conseils de son avocate va demander le maximum. Je n'arrive pas à passer ce cap, je suis déprimer. Qu'est ce qui me bloque à ce point?