Horario régimen visitas

Buenas tardes,
Mi duda es la siguiente:
En la sentencia por la custodia de mi hijo viene establecido el derecho a visitas fines de semana alternos, mitad de vacaciones...
El miedo está en que un fin de semana concreto no podré cumplir con el horario exacto que es entregando al menor a las 20h, ya que vivimos en ciudades muy alejadas y soy yo quien se desplaza e irremediablemente tengo que volver antes para estar en mi ciudad el lunes por la mañana. Había pensado dejarle unas horas con mi familia hasta las 20h y que ellos lo lleven a su casa (en la misma localidad).
¿Podría yo autorizar a mi familia a cuidar esas horas de él? El problema es que el otro progenitor no es NADA flexible y monta bronca por cualquier motivo con tal de fastidiar y amedrentarme, y no sé si puede atacarme legalmente alegando que incumplo... Soy consciente de que en el momento que me sea imposible cumplir de manera habitual debo pedir modificación de medidas, pero de momento no puedo hacerlo.