大龜山與小龜山原來是連成一體的，從前就是因為這個小土丘在俯瞰之下，整體就像是一隻烏龜正俯身喝著蓮池潭的潭水而聞名。而且，龜山的高度，正好可以讓左營舊城中防守的官兵居高臨下，便於觀察情勢，因此占有重要軍事位置。然而也因為這樣的戰略地位，使得日治時期想要發展軍事力量的日本政府也必須在左營整治交通，方便各類運輸，成為南進的據點。因此，大約在西元1924年到西元1942年之間，原先讓龜山保持完整而沿著蓮池潭畔建造的道路進行了截彎取直的工程，龜山從此被勝利路切斷而分為大、小2座龜山，分立於左營舊城之內，靠近蓮池潭的這一部分就是小龜山。
在民間曾有這樣的故事流傳：在大小龜山被分開後，蓮池潭的池水變成紅色。也因為勝利路斬斷了龜山的靈穴，而致使左營舊城部落從此一蹶不振。