Si el papá de mi hijo es agresivo y drogadicto puedo quitar la custodia

Hola tengo un niño de 3 años, desde que nació su papá no trabaja es un adicto, violento, grocero. Ya me separe de el hace 9 meses, le prestaba el niño, pero se meten hombres a drogarse ahí, ya no se lo presto pero ahora me amenaza y me golpeado en la calle y va a mi casa agritarme el y su mamá, adelante del niño me ofende me jalonea, me destruye cosas en mi casa, me manda mensajes amenazando, y tengo vídeos donde van a insultar a mi casa, que puedo hacer quitar la custodia, esa casa donde vive el es de su mama el hermano es drogadicto ahí entran día y noche gente a drogarse, no me ayuda con el niño nunca lo a hecho y temo por nuestro bienestar.