Quitar apellidos paternos

Hola! Tengo una niña de 6 años, su padre no la ve desde los 6 meses, nunca la ha pasado manutención y actualmente está embargado pero no tiene nomina( trabaja en negro), visitas un día a la semana de una hora en un punto de encuentro a las cuales nunca a acudido. Actualmente debido a su desinterés puse una demanda pidiendo la patria potestad exclusiva para mi, el ni tan solo quiera se presento al juicio. Tengo la patria potestad y le han quitado las visitas, ¿podría quitarle el apellido paterno?
Un saludo