Custodia bebé 18 meses

Buenas tardes, gracias por leer.
Necesito ayuda, os cuento. Madre de 27 años con un bebe de 18 meses, trabajo fijo de 8 a 14, padre de 37 años, trabajo temporal camarero de 9 a 12 y de 18 a 1 am.
Me hago cargo de los gastos del niño. Asi como de cuidarlo todos los dias, llevarlo al medico y bueno, lo que supo e tener a un niño. El se evade de toda obligacion dado que no hay medidas legales, y cada vez que le pido ayuda, me exige la custodia compartida, (el tiene la custodia de una niña de 5 años, que la cuida su tia porque el por su horario le es complicado) suele ver al niño 4 dias al mes que es cuando me lo pide, yo se lo llevo y recojo. Llevamos 4 meses desde que rompimos( no habia matrimonio) estoy esperando a la cita que preograme con una abogada pero hasta el 30 de enero nada... la cosa es que no se como actuar. Ayer me pidio recoger al niño y quedárselo 1 semana, yo sabiendo que el niño estara con su tia, y a la 1 am lo baja a la casa de el. Le dije que no... ahora me pide volver a ver al niño, y me da miedo que se quede al niño varios dias, teniendome a mi que puedo ocuparme de el y mantener una rutina normal para un bebe. Como puedo actuar hasta que hable con mi abogada? Puedo negarme a llevarselo? Puedo decirle que sea el, el que venga y vea al niño en mi casa? Todo esto me puede perjudicar al dia de mañana? Tengo pruebas y constancia que es drogodependiente de la cocaina, el puede probar que yo me fume un porro una vez.... tengo miedo a actuar de mala manera y que esto pueda perjudicar a mi hijo... cabe decir que dos veces que he ido a recogee al niño ha venido con lesiones, siempre en la cara. Necesito consejo para saber como actuar sin que esto nos perjudiqie a mi bebe y a mi. Gracias