Puedo viajar con mi hija sin el permiso de su padre?

Hola, tengo una hija de un año y mi relación con su padre es bastante mala. Ayer le dije que me gustaría ir un fin de semana este verano con la niña y mi madre a la playa, y él me ha dicho que si hago eso llamará a la guardia civil y me denunciará por secuestro. Tiene sustento legal esto que amenaza con hacer? Yo tengo derecho a ir de vacaciones con la niña (dentro de España)? Actualmente yo vivo con ella y mi madre, y él con sus padres, y viene de visita los fines de semana. Me gustaría pedir la custodia total pero todavía no he empezado los trámites. Agradezco cualquier consejo que se me pueda dar, muchas gracias.