Cambio de turno en los fines de semana alternos

Buenas tardes, a mí ex le ha apetecido cambiar el turno de los fines de semana, el cual lo llevamos así desde hace 2 años que nos divorciamos. Mi pareja, que también tiene hijos, y yo coincidimos en los turnos de visita y así un fin de semana tenemos niños y otro no, por lo que a la "sugerencia" de mi ex le he dicho que no se pueden cambiar. Como me he negado al cambio, ahora me ha dicho que vamos a hacer un mes el turno que llevamos y otro mes el turno cambiado y le he vuelto a decir que no, que si quiere que lo lleve al juez.
Me ha dicho que el fin de semana que me toquen los niños no se irá de la vivienda familiar y que si quiero que llame a la policía ( no he comentado que los fines de semana que me tocan los niños yo acudo al domicilio familiar y mi ex se va y al revés)
Que puedo hacer? Si mi ex no se va y llamo a la policía éstos le obligaran a irse puesto que es mi fin de semana para estar con mis hijos?
Un saludo y gracias