柑仔山為臺灣最早栽種品質優良的「華盛頓臍橙」之地，日本人杉原佐一於昭和11年（1936）創立「杉原產業株式會社」，發現今成功鎮三民里、忠仁里西側山坡上地質、氣候、海拔、日照非常適宜栽種臍橙、檸檬等柑橘類水果，遂於昭和13年（1938）向臺東廳申請設置「新港農場」。戰後，新港農場由國民政府接收並對外放領招標。先由臺南富商林全福購得，後由宋番古與馬榮通接手經營，並將農場改名為「富榮農場」，取其富裕榮耀之意。此後陸續吸引客家移民來此開墾，種植柑橘等水果，當時滿山都是結了果的柑橘樹，因此有「柑仔山」之美稱。