¿Pueden quitarme a mi hijo?

Tengo un hijo de 5 años. Desde que me separe de su papa se la ha pasado amenazándome con que cuando entre a la escuela va a meter juicio para que él decida con quien quiere quedarse. ¿Eso puede suceder? El siempre le ha mandado mensualidad. Siempre dejamos que le llame y se lo lleven todas las vacaciones. Nunca le hemos hablado mal de su papa. Y el niño es feliz ya sea con él o con nosotros. Yo ya soy casada y se quieren muchísimo los hermanitos. Deje al papa de mi niño porque me maltrataba, no llego a pegarme pero si sufrí maltrato psicológico y físico. El mostró interés por el niño ya cuando lo deje, y antes de casarme viví con mis papas. Tuve a mi hijo de 16 y el tenia 23. Su familia también no me trataba tan bien. Mi esposo quiere a los dos niños por igual. Tal cual como su fuera su padre natural. Si estoy preocupada. Mi esposo dice que no pueden quitárnoslo pero quisiera escuchar a un experto en el tema. Muchas gracias.