17世紀初荷蘭人以軍商結合的隊伍，於1624年占領今日安平，並建熱蘭遮城為其防禦要塞。1662年鄭成功取荷蘭城後，改稱安平鎮，改內城為內府，臺人因此稱其為王城。清領時代，因台江內海逐漸淤積陸浮而失去其重要性，加上清兵破壞熱蘭遮城建億載金城，故日漸荒廢。日治後重建，二戰後乃稱「安平古堡」。
原來是一個非常具有歷史意義的地點，在悠久的臺灣歷史和文化的脈絡中，是各個族群交會、互動之處。但因其位處安平區，相較於熱鬧繁榮的市區，是隱蔽性較高的地方，因而在1950年代，除了在市區附近碰面外，吳聲達及其組織成員也會選擇遠離市區的安平古堡聚會。
