¿Cómo evitar que el padre se lo lleve porque es muy chiquito?

Tengo un hijo de dos años y el padre no lo ve nunca porque nunca tiene tiempo. Ahora soy yo la que no quiere que lo vea porque no quiero que mi hijo sufra. El padre me esta haciendo juicio para tener las visitas correspondientes, el tema es que su actual mujer trata a mi hijo de bastardo: ¿cómo puedo hacer para que no se lo lleve hasta que mi hijo sepa hablar y contarme como lo trata esa mujer?