舊城的凋零是日積月累的，在1900年（明治33年）日治時期，從臺南到打狗之間的鐵路完工通車，舊城驛（現今的左營車站）在同年12月29日開始營運，從舊城驛經過舊城北邊城牆，通往左營的道路就此被開發出來，逐漸影響了北邊鄰接蓮池潭的城牆。1921年（大正10年），因為開闢高楠公路（現今的左營大路），局部拆毀南門和西門的城牆。然而，影響舊城最大的，是1937年（昭和12年）以後，日本海軍在左營地區闢建高雄軍港以及眷舍群，以至於北門、西門、南門之間的城牆被大量的拆毀。戰後勝利路的闢建，也拆毀北門一帶的城牆，此時的舊城遺址大致就呈現今日的樣貌。目前所看到殘存的西門砲台遺址，從外觀上看來保存的算是完整，據說在日治時期曾被當作碉堡使用。