Convivencia de hijo con actual pareja

Mi ex pareja y yo nos separamos de una manera buena ,tenemos un hijo en común ,pero aún yo vivo en su casa . Él está enojado y me corrió porq aún sabiendo y aceptando que yo ya tenía una nueva pareja ( empecé después de terminar con él) se enoja porque mi actual pareja nos va y nos deja a la casa y los vecinos le dicen que me ven con mi pareja ,lo cual no le veo nada malo ... Mi pregunta es él puede pelear la custodia de mi hijo por ese motivo , me dice que soy malagradecida cuando yo siempre lo ayude económicamente a salir adelante y hacer crecer su casa. Me corrió sabiendo que no tengo dinero en este momento y solo me dió una semana para irme