Problemas para poder ver a mi hijo por causa de la madre

Buen día.

Actualmente tengo constantemente problemas con mi ex (mamá de mi hijo) debido a los cuidados de mi hijo, es muy irresponsable en sus cuidados y en ocasiones quiere prohibirme verlo aun cuando desde siempre he estado al pendiente de sus cuidados y necesidades (doy dinero cada semana y paso tiempo con el). Quiero llevar este caso por lo legal ya que estoy cansado de tener problemas con ella constantemente, pero quiciera estar mas informado en el tema Les explico mi caso:

En el 2012 tuve una relación en unión libre de la cual se concibió un hijo. Esta relación duro hasta que el bebé cumplio 1 año (Aproximadamente 2 años de relacion). La separación fue en mutuo acuerdo debido a constantes problemas.
Desde la separación (ya casi 4 años) siempre he estado al pendiente de los cuidados y necesidades de mi hijo. Aporto dinero por semana, paso por el todos los fines de semana y en ocasiones lo visito entre semana.
Después de 2 años de haberme separado yo empece una nueva relación que para bien o mal fue con una prima de mi ex, con la cual actualmente ya vivimos en unión libre. Se que para muchos no debí hacer eso pero nos enamoramos y actualmente seguimos juntos.

Que pros y contras puedo tener y/o que debería hacer en este caso si quiero llevar las cosas legalmente y que se respeten mis derechos como padre, asi como seguir cumplir con mis obligaciones.