柚仔湖也稱作油仔湖，位於臺東縣綠島鄉東側海岸，是一個三面背負陡崖的海灣旁狹小平地。建立柚仔湖聚落的王姓先祖，是傳說中與陳必先最早到達綠島開發的五大姓氏之一。於清嘉慶年間自小琉球（今屏東縣小琉球鄉）遷入綠島後，先定居於燒鹼內（或稱燒金內，中寮溝出口左側一帶），輾轉遷至柴林仔，再入墾柚仔湖。 房舍原以木竹搭建，屋頂鋪以芒草。二戰末期昭和18年（1943）至臺灣光復初期民國38年（1949）間，各戶紛紛改建。所有房舍改以咾咕石（造礁珊瑚石塊）砌牆，屋頂鋪水泥瓦。民國65年之後，柚仔湖聚落居民因交通不便，陸續遷移到公館村或遷離綠島。到民國67年時，整個聚落人口全部遷出，房舍及土地陸續皆售給台北韓姓人士。