姑婆嶼為何稱作姑婆？眾說紛紜。最常見的說法：據說在很久以前，村莊裡有位少女，已有相戀多年的男友，父母卻反對雙方婚姻，另謀良人。女孩為信守承諾，乃逃至無人島，終老一生，這座無人島也被稱為姑婆嶼。姜佩君於《澎湖民間傳說》一書採集林文鎮的吉貝居民說法：「有一位小姐，時常幫哥哥照顧孩子。某天由於工作忙，沒注意到孩子，孩子竟然窒息了！他覺得對不起兄嫂，也害怕責備，便逃到無人島居住。而他的姪子只是暫時窒息並沒有死去。後來姪子長大生子，打聽到姑姑的消息，便帶著孩子來請他的姑姑-姑婆。這個島於是稱為姑婆嶼。」