這能算惡意遺棄嗎? - 社會議題

請問?
我和我老公結婚不久（我台北嫁到金門）
每次吵架他都會叫我回去娘家去
嘴巴說很好聽　說讓我們彼此好好冷靜下來　叫我好好想想
我說我要帶小孩走　他不讓我抱走
還有一次也是這樣他叫我回娘家去　
他不但沒有給我機票錢　車錢　就這樣叫我走人
回去的幾天也沒有給我任何的生活費
還打電話給我說　看我想的怎樣　
要不要把我全部的東西寄來我娘家這
這樣算構成惡意遺棄嗎?
其實我想離婚　但我知道自已沒辦法有小孩監護權(因為帶小孩沒工作)
小孩跟我姓 我們倆都想要小孩的監護權

他是有工作沒錯　但他是在不良場所當少爺的
＊請問法官大人會看家庭背景判小孩給誰嗎
他爸媽又離婚　他爸又被關
他好像堂弟還是表弟 也被關
家境也不是說很好
我老公他自已也有他一大堆的電話費還沒有繳清
還有汽車　機車末繳清
重點他有動手打過我　但他說誰叫我先動手
我本來要打給警局　但我不敢　因我錯在先
我鞠躬的謝謝你們回答我的疑問
感恩~ ^^
Update:
^^
證據指證他在當少爺~
這個有證據嗎?
有點難取的
Update 2:
離開我當然知道會比較好
但又想小孩的監護
剛20嫁到金門
不但沒有親人可以依靠
吵架總是要趕我走
我知道他會趕我走 我只好 電電
我們一談到 離婚
他就威脅我說 小孩不可能給我的
他很有自信的說律師會判小孩他