¿El padre de mi hija me la puede quitar si el no se ha hecho cargo nunca?

Buenas tardes, el padre de mi hija me ha amenazado con quitarme a mi hija de 9 meses. El no trabaja, vive con los papás y estudia, jamás se ha hecho cargo de ella, además es un maniático, es obsesivo compulsivo, es agresivo al igual que su familia y dijo que me demandará para quitarme la niña. Yo soy súper preocupada de mi hija, tiene todos sus controles al día, tiene todo en orden. ¿Él puede hacer eso?¿Qué debo hacer?