¿Me puede quitar a mi hijo su papá?

tengo una situación complicada al enterarme que estaba embarazada el papá de mi hijo me pidió decir que él no sabia de la existencia del embarazo y posterior del bebé hasta que consiguiera un trabajo que no le permitía estar casado o tener hijos, yo era muy joven y acepté. pasaron dos años y el me decía que ya nos juntáramos pero yo no quería en ese momento por no enfadar a mi familia que si me apoyó en todo con gastos y cuidados, el no lo hizo dada la situación, y le dije que hasta que terminara yo mi carrera nos casaríamos, el nunca estuvo presente ni le pedí manutención, nuestra relación con el tiempo se termino y ahora quiere ver a mi hijo pero yo no quiero y tengo miedo que proceda legalmente de algún modo para quitármelo, el puede hacer eso?, mi hijo lo registré con mis apellidos solamente y actualmente tiene 7 años. mi hijo no lo conoce ni me pregunta por él.