Mi bebé llora con su papá y él se enoja

Mi bebé llora bastante cuando la dejo con su papá, él trabaja y sólo la ve de noche y a dormir. Estamos en el cuarto y apenas ve que me salgo y llora desesperadamente, mi esposo ya se enojó y me echa la culpa a mí, como si yo la pusiera en su contra. 

Ahora me dijo, ya vi que no hago falta aquí, y se molestó. ¿Por que sera eso? Me siento mal y desesperada también de que mi nena llora mucho y con sus tíos y abuelos no, ¿qué puedo hacer o decir a mi esposo?