小孩監護權的歸還 - 家暴

我太太多年前因家暴而和前夫離婚，當時有個小孩剛出生，因對方活及品性問題，而取得小孩監護權。
離婚後的幾年時間，她因為家暴的陰影而遠離夫家，並且獨立扶養小孩成長，直到小孩上了幼稚園。
六年前她與本人再婚，又陸續有了兩個小孩（四歲及二歲），而與前夫所生之子也已十二歲了。這過程中我門未曾跟對方聯繫，更未曾索取任何扶養費用。
只是，這小孩隨著年紀成長，行為越顯偏差。欺騙偷竊課業不佳，我們盡心輔導勸說還是無法導正。所以我們決定讓她返回親生父親哪哩，換個環境希望小孩回去能有所改變，我們立了協議書無條件歸還監護權，並讓小孩假日回來我家探視。對方不要。
但對方說他只要小孩跟他姓，因小孩會吵鬧，他無能力照顧。小孩一樣歸我們養，反正大了自然會回去找他。
請問：
1我們是否無法強制拋棄監護權，讓對方也善盡為人父母的責　　　任？我們不要錢，只想讓小孩回到屬於她的地方。
2我們收入不高但也撐了多年，不過小孩一直變壞，而且一再對年幼弟妹動粗，種種行為也影響到弟妹學習成長的環境，我們不是不要她，只是想藉由環境的改變來促使這小孩的成長，面對他生父的回絕，是不是就毫無辦法？
3最後，我們可否選擇拒絕小孩（小孩目前暫住生父處已半個月，但對方一直要送他回來），來逼使監護權移轉？目前對方說要透過家扶中心處理，強迫要我們接回小孩。
我們到底該如何？
以上，懇請回答！
已更新項目:
對待孩子，我們絕無私心。
也透過各種方式，扶導及心理諮詢等來幫助她。
身為繼父，我不願意看到小孩我手上變壞。
我們真的勞心勞力付出，可惜；或許是做的不夠，我們失敗了。
我明白有扶養的義務，並未要拋棄對小孩的責任，只想藉由環境改變來
啟萌這小孩，希望能讓她成長及懂得珍惜，希望他生父的親情讓小孩能
感化改變。
其實，與他生父接觸反而是我最不願意的事，為了挽救孩子，才會去嚐
試接觸，面對他毫無擔當的回絕，讓我心中不平。
對方嘴吧說愛孩子，要孩子，但無法承受監護權。
最後還自願把小孩更改為從母姓，
到此；我感到心寒；把小孩接回來了。
謝謝大家；我們會更用心，再次謝謝大家！！