一到選舉，「幽靈人口」的陰影總在馬祖揮之不去。民國八十七年「五○二事件」，地檢署一口氣起訴五○二位馬祖鄉親，雖然並非全被定罪，卻讓馬祖成為全台犯罪率最高的縣市，也嚴重影響之後選舉。

早年，候選人安排旅台鄉親遷戶籍，在馬祖一點也不稀奇，但很多民眾沒想到，只是返鄉投票支持親友，卻讓自己陷入數年的纏訟噩夢中。現今，雖然選前交通仍一位難求，但候選人要說動親友遷戶籍投票卻難上加難，只能從戶籍上比較沒問題的，像學生、在台工作的單身族群，與赴對岸工作的台商等，成為各方人馬積極爭奪票源的對象。

此外，近幾年檢調偵辦方向大幅修改，除非有收賄，不然「老幽靈」（指原籍馬祖，或親友在馬祖）自費投票不罰，並在每次選舉以寄信勸導，希望減少幽靈人口，但從爆滿的飛機與台馬輪訂位看來，馬祖人對於投票熱情仍頗難澆熄。