El padre de mi hijo quiere quedarse con él

Hace varios años me separe de mi pareja por malos tratos, tenemos un hijo en común, cuando yo empece a trabajar acordamos que el se quedara con el niño entre semana y yo lo tendría los fines de semana el niño a raíz de eso es muy apegado a su padre, el no es mal padre, pero se caso con otra señora y yo quiero recuperar a mi hijo, el me amenaza que si empiezo un proceso en contra de el me lastimara o se llevara a mi hijo lejos de mi, a parte de todo el miembro de la fuerza pubica, no se que hacer, gracias.