有家暴又有精神虐待的話，要怎麼樣才能離婚？ - 家暴

想請問一下，要如何才能真正的離婚！
就是先生爰喝酒、爰打牌、晚上几乎沒有回家並且有酒後打人對家人精神訓話等情況發生。
以前會考慮到小孩，但孩子都長大了，也和我說離婚吧！
但我一點証據都沒有，因之前對我施暴時，我沒有去驗傷
就連現在的開口閉口都是對我的人身攻擊，那這樣我要怎麼做！
因當下我無法錄音，而且發生時間都是在凌晨，大家熟睡時間
我要怎麼樣才能拿到証據，且避免他的攻擊。
就拿這兩天來說，昨天是說我多毛病，一樣的水質，怎麼可能他喝沒事，我喝就會身体一直不適應 (如：反胃、嘔吐)，一直罵我(XXX 問候我媽媽之類的話)，孩子也是半夜被吵醒
今天則是說我煮的過多，還有說練舞時間還給他拖到晚上八點半才來，不知在衝啥小(台語)。再來就是又一頓的(XXX吵之麻等等)，一樣地孩子又被吵醒而無法入睡。
P.S. 明明是他要跳的，可是卻每每硬要我去，不去回來就又是一頓的怒罵，不然就是我去了，又因他的舞步不熟，而和我爭吵起來；再者就是朋友打來後，心卻不在練舞上，一心只想去打牌。接著又放我一人回家。
接下又留了一句，既然夫妻不能同心，那就隨人
當他說這句話時，我也和他說過，那我們去辦離婚，他又說不可能。
就算離了婚，他還是要住家裡，因不想讓外人看笑話，也不要讓人知道他是個婚姻失敗者。
且不可能讓我們母子四人有好命過，只要敢再說“離婚”就放火燒整棟大廈。不信就試試看！
還常把“惡妻孽子”這話掛嘴上。我想再請問一下！
我又沒有偷人，孩子也沒有做奸犯科。
那我那來的“惡妻孽子”這嚴利的四字呢！
再者我知要搜証，那我再請問一下，如果搜証的話，要多久以內有效，我目前是失業中。長期下來我的睡眠品質、精神狀況都很差。
孩子們也常在半夜驚醒過來。大家都擔心他只要沒有回來的話
是不是又在外喝酒，回來要發脾氣打人、精神虐待等
我也有和他談過，女兒也談過，但他又一昧的把話收起來
等到他喝了酒後，就再拿那些話來堵我，並且怪我不知怎麼把孩子教成這樣，連基本的尊重都不會，孩子有和我說過，我也有和他說，但都沒有用，一直說“讓我們母子過得太舒服了”！
孩子也都說，傷口己造成了，那傷是無法癒合了！
他回說：那你們就是要接受事實，我就是生你的老爸(台語)，只能服從不能抵抗，抵抗、頂嘴就是不受教、不懂得尊重。
女兒也問他就算你錯了，我們也只能說你對，打我們，也只能說我們不幸，不能選爸爸是吧！他還回說對！
那我又該怎麼處理呢！真的不想再讓這情形再困擾下去了！
補充一點，孩子們都懷疑他外面有女人，但他否認，堅決說沒有；女兒有幫我申請通話明細了。
但確實是有一通電話，每天都有，只要是要打給我或家裡的電話前後、又說不回來睡的晚上，都會有那一個號碼，己經長達三個月有了，對方知我。
也和我保証說他們都沒有通電話，先生也說沒有，但明明確都有連絡，我沒有讓孩子知道。
先生也拿這點來說，說他知道我們有查他的通話記錄。
就連夫妻間最基本的信任都沒有了，更何況他也再三地說：他外面沒有女人，更何況那女人又不是我的誰，我衝啥要對她報備呀！
但我想說的是，先生都晚上都沒有回來，和我說在工廠裡過夜。(最長記錄是一個月沒有回來，目前也是斷斷續續的，一個禮拜沒回來居多，就算有回來，那是拿衣服回來洗)
那請問一下，真的都會在工廠過夜嗎？因我女兒有次開車載我去看，確實是沒有在工廠過夜的。
可以詳細的明述給我嗎！謝謝！
P.S. 太多說不完了，只能舉目前最近的例子