¿Qué pasa si no dejo que mi ex se lleve a nuestra hija?

Yo quería saber si no dejo que a mi ex se lleve a nuestra hija qué puede hacer el solamente tenemos firmado un convenio regulador con la abogada no hay nada judicialmente firmado entre nosotros solamente un convenio de mutuo acuerdo en la abogada el cuando no tiene a su hija me molesta a las 12 y a la una de la noche y cuando le toca no la quiere tener y si se la lleva me amenaza con traerla por la noche y si no estoy en mi casa me denuncia la Guardia Civil qué puedo hacer no quiero volver a dejar que se la lleve asta que un juez a si lo dicte: ¿puedo hacerlo?