我該怎麼做才對？（工作方面） - 社會議題

我在某公所上班，不是考試進去的，但因為同事大多是男性，而且現在我愈來愈有討厭的人，每次上班有事沒是就會說到我，我都不想理他，可是他還是會說，這些我還可以忍受，可是這一陣子我發現有人一直盯著我看，那種看是讓人不舒服的看，因為之前有人告訴我說，不可以和他太熟，熟了之後他會動手動腳，這件事情是不是要告知上級主管呢？因為這個原因，我有一點想離職，因為還有很多其他的因素。如果要離職應該如果說會比較好？
Update:
如果要離職應該如何說會比較好，最後一句有一個字打錯了。
Update 2:
我也不想討厭別人呀，可是他一直盯著我看，真的不舒服，而且每次和別人說話，說一說話題就會繞到我身上，我也沒理他，他還是要在那說，而且一天都說個二、三遍，真快受不了，他到底是來上班的還是來聊天的呀！