DATOS ERRONEOS EN CATASTRO O EN REGISTRO

BUenos días.
En el catastro aparece mi dirección con puerta nº4. Ese catastro está a mi nombre, y pago IBI por esa referencia catastral. Los metros correctos, etc. sólo el número está mal y si intento sacar nota simple de mi domicilio por ref. catastral no aparece nada registrado.
En las escrituras consta el nº3 y siempre he vivido en el 3. En las notas simples el 3, (sin referencia catastral).
En mi piso son 4 viviendas físicas y en la división horizontal también son 4. La 2 y la 3 están unidas físicamente, pero no lo están catastral ni registralmente. Mi vecino compró las dos en plano y el constructor se las unió y puso 1 sola puerta, por lo que al repartir los números a mí me asignaron el 3.
Estoy en la "línea" de los 4, tenemos 12 m2 más que la línea de los 3 y más %cuota obviamente. Ahora han vendido los herederos de mi vecino y quieren separar los pisos, y solo tienen un número de puerta y dos ref. catastrales y dos notas simples.
Tengo que cederles el número 3? Llevar 40 años con ese número no genera una prioridad sobre él?

Muchas gracias. Un saludo.