Mi ex quiere quitarme la custodia

Tengo la custodia de mi hijo desde septiembre de este año mi hijo tiene 11 años y antes no teníamos ningún acuerdo legal porque nos llevamos bien, mi actual marido le salió trabajo fuera de nuestra ciudad nos desplazamos y llevamos tres años viviendo a 200 km de su padre este año me dieron la custodia a mi y la patria potestad a ambos y en varias ocasiones, no quiso ir con su padre por estar en los cumpleaños de sus amigos, ahora me pide la custodia y que lo mire una psicología. ¿Tiene posibilidad de quitarmela?