Restringir visitas a los abuelos

Buenos días;

Mi consulta es porque tengo un hijo de 10 meses, no estoy casada ni inscrita en el registro de parejas de hecho, pero vivo con mi novio, desde que hemos tenido al crió sus padres nos dirigen la visa y cada 15 días por norma tienen que ver al menor, y mi novio lo consiente, pero no podemos hacer nuestra vida o quedar con amigos el fin de semana que " les toca a "mis suegros " porque es su día con el nieto. Esto está provocando muchos conflictos con mi novio, que siempre mira por sus padres, y necesito saber si puedo legalmente restringuir estas visitas porque para mí es una condena y me va a costar la relación, ya que hasta que nació mi hijo nunca hemos tenido un conflicto entre nosotros. He oído que les corresponde a los abuelos tres horas al mes, ¿es cierto? ¿Qué solución tengo? Gracias.