El padre de mi hijo de 5 meses quiere llevarselo a solas a pasar tiempo con él

Me separe del padre de mi hijo antes de que mi bebé naciera, durante el embarazo no estuvo muy pendiente, incluso llegó a pedirme una prueba de ADN para saber si era suyo. Después que el niño nació lo ha visitado al menos una vez por mes (en una oportunidad paso un mes y medio sin verlo) aporta de vez en cuando con la leche y los pañales. Ahora quiere venir a llevarse a mi hijo a solas, mi bebé solo tiene 5 meses y es lactante, y aun no lo reconoce como su papá. ¿Puede llevarselo?