在1820年(嘉慶24年)的《臺灣里堡圖》上，就標示有「龜心石卡」，表示清代在龜山山頂建有防禦據點，監控整個舊城與左營地區的軍事安全。1940年後龜山被劃入軍事管制區，高雄要塞司令部在山頂安置有127mm加農砲2門、90mm加農砲1門、70mm加農砲2門、47mm戰防砲2門，負責防禦左營軍港的登陸敵軍，兼對空防禦，左營人從此稱龜山為「要塞地」，再也無法上到山頂遊玩賞景。民國38年後，住進舊城內的東萊新村住戶回憶說，龜山要塞地的守軍是陸軍砲兵，山下的守軍是海軍，因為軍種不同經常有爭執，甚至打死人。