位於臺南市赤崁街與民族路交叉口上的赤嵌樓，原為荷蘭人所建。早期的漢人稱荷蘭人為紅毛，所以也把這座建物叫做紅毛樓，亦稱番仔樓。西元1598年西班牙人佔領臺灣未成，西元1622年荷人佔領澎湖，受明朝派兵驅離後，西元1624年移居佔領大員，展開了規畫周詳之殖民地統治，首先建造熱蘭遮堡以鞏固統治權，西元1652年發生郭懷一抗暴事件，於西元1653年荷蘭人在此築堡壘命名為普羅民遮堡，而當地人士因其係建在赤崁地方，乃稱之為赤嵌城。鄭成功自北伐南京失利後，欲取臺灣為反清復明之新基地，明永曆15年（西元1661年）以兵力守備較弱之赤嵌樓為攻擊第一目標，歷經八個月之久，荷人出降於同年陰曆12月13日撤離臺灣，結束了荷人對臺灣三十八年來的統治與壓榨。清康熙22年（西元1683年）施琅領軍擊敗鄭軍，結束了鄭氏治臺時期，翌年臺灣納入清帝國版圖；赤崁樓仍沿鄭氏時期之用以儲藏軍械火藥之倉庫。清康熙60年（西元1721年）以朱一貴為首之鄭氏時期遺民大張反清復明之旗幟，首當將赤嵌樓正門鑄有荷文四字鐵鑄門額拆掉，以此鐵材鑄造兵器；於是赤嵌樓門戶開始起變化，自始首開赤嵌樓遭破壞先例，從此破壞不斷。直到清乾隆15年（西元1750年）知縣盧鼎梅將縣署移建於赤嵌樓右側，加以修護管理，定時開放供人參觀，而有府城八景之一「赤嵌夕照」的美名。同治初年，供奉觀音佛祖的信徒們，在城樓上建造大士殿。清法戰爭時期，劉銘傳命臺灣知縣沈受謙拆毀荷蘭時期的城樓，人士殿因而受到波及。清光緒12年（西元1886年）沈知縣為了振興文教，在赤嵌樓北側建蓬壺書院，同時，將赤嵌樓樓基填平，在高臺上建造文昌閣、五子祠及海神廟。迄今仍維持清光緒12年樣貌。