He incumplido el convenio regulador durante 4 años, ¿puedo empezar a cumplirlo?

Cuando nació mi hija, hicimos un convenio regulador en el que podía tener a la pequeña dos días en semana durante dos horas hasta los 4 años y a partir de los 4 años fines de semana alternos. Durante estos primeros 4 años no lo cumplí por no vivir en la misma ciudad, por motivos de trabajo y por estar cumpliendo sentencias que me salieron por sucesivas denuncias de la madre. Ahora que mi hija cumple los 4 años y puedo verla los fines de semana, quiero ejercer mi derecho y estar con ella, pero temo la negativa de la madre ya que alega que en estos cuatro años no quise estar con ella. ¿Puedo pedir que me dejen a la niña? ¿Está en su derecho de no dejármela? Gracias.