是我有問題才交不到女友嗎? - 社會議題

我23歲還沒交過女友，其實連同輩的女生認識的也少。
但很多男性朋友都說我條件不錯，是不是有甚麼問題?
是這樣的:
高中畢業以前身材很胖常被女生嘲笑，所以我求學時代很畏懼女生也對不大對女生說話。
但是出社會從事高勞力的職業加服役時我共瘦了45公斤，現在是標準的61。
不過青少年時的陰影依然烙印在我心理，不敢對女生直視，只要跟女生說話就怕被笑，對女生永遠保持敵意。
這種情況持續著本是不以為意，直到男同事半開玩笑的問我:是不是有問題?我才意識到嚴重性!
我嘗試著去改變從網路的媒介與現實上的異性接觸，跟女生說話不自在。
看男生可以說出這麼流暢自己對女生會有代溝。
可是對同性卻可以輕易的侃侃而談。
但我不是同性戀，對男人沒有特別性向，一樣會看A片，一樣會偷偷的看女生，會有赫爾蒙的反應，而我自認我也很有理智，不會做違背善良風俗的行為。
這不是徵友訊息，只是單純的把問題概述得到心理的抒發。
我當然知道我需要心理醫師，但我這是病嗎?
Update:
我認為，感情是雙方互動的，雙方也是平等的，且現今社會開放，女追男已見怪不怪，所以，女生若真的有喜歡你，他自己主動會靠過來。且什麼叫『追求』，我真的不知道。
我不相信什麼『緣份』，我認為，『無風不起浪，事出必有因』，交不到女朋友，絕對是有原因存在的。但我真的覺得自己除我說的以外，真的沒有什麼缺點，也一直不知如何改變原因。
Update 2:
甚麼叫主動?
一些男同事很低級，而且根本就是色魔…還有社會新聞那些很爛的人、沒工作的人、小混混、吸毒、吃喝嫖賭樣樣來的人就是有人為他死心塌地。
我曾想過『男人不壞，女人不愛』這句話，但要我去學吃、喝、嫖、賭，學打架、學恐嚇別人，我真的辦不到。難道我一定要變壞才交的到女友？如果刻意一直找女生說話不是會很奇怪嗎?