柴山廢棄飛彈基地位於山海宮北方200公尺，占地約三甲多，據當地人說大部份土地是麥家的祖居地，麥家先祖麥朝清常在柴山練武藝，孔武有力，嘉慶23年鄉試考上武舉人，返家蓋燕尾大厝，在門庭豎起一對旗杆座，家裡也留有練武石及大關刀。日本時代麥家的古厝群還存在，戰後才被國民政府徵收作為營區，古厝被拆除。1970年代以後，此地被作為地對海的飛彈基地，一度配屬有雄風二型制海飛彈，整個山壁被挖空、隧道佈署為發射基地。1990年代開始，柴山沿海地層滑動及地層下陷，造成飛彈基地隧道嚴重龜裂，最大縫隙寬達20公分以上，無法阻止繼續惡化，對精密設施造成重大損壞，最後國防部廢棄該營區，飛彈基地他遷。關於此廢棄的飛彈基地，前市議員連立堅、桃源里蔡福進里長曾建議改建為停車場，以解決柴山假日停車位不足問題，但軍事專家認為柴山是高度軍事管制區，觀光客與日俱增，也可能威脅國安，不宜改建停車場。