柯位香（右一）生於民國44年（1955）8月，父母親居住在中國寧波市漁山島。民國44年（1955）自漁山島撤退時，母親正好懷她，是漁山寶寶之一。根據其母親與柯位香所述，自漁山島撤離前，每天都在躲避共軍的砲彈，撤離時，漁山島民與上、下大陳人一起坐國軍的軍艦來到基隆，父母親短暫居住基隆，最後落腳至臺東。在臺東的成功、小馬、都蘭、東河、富岡國小等，沿路有分配一些漁山島的住民，而柯位香的父母親暫居在東河的中山堂。民國44年（1955）8月2日，柯位香出生於勝利街榮民醫院。民國44年（1955）12月15日富岡新村落成，所以住在臺東縣其他區域的漁山島民，全部遷入富岡新村定居。柯位香的父親從事遠洋漁業，在富岡新村的居民，大多從事漁業為生，大多人都在沿岸或蘭嶼跟綠島打漁，少部分人會去跑遠洋漁船。對於舊村，柯位香印象最深刻是民國54年（1965）6月18日的強颱戴娜，村子一半被摧毀，後來房子幾乎都有重建。後來民國59年（1970），因空軍志航基地的修建，遷至今富岡新村即臺11線省道兩側。