明永曆16年（1662）5月8日，國姓爺鄭成功逝世，民間建廟崇祀，名曰「開山王廟」，用以讚頌鄭成功驅逐荷蘭、開拓臺灣的功績，並崇敬其一生矢志孤忠、延續明朝正朔的志業。

清康熙23年（1684）臺灣入清版圖以後，廟漸傾圮；至乾隆年間重修，再續香火。清同治13年（1874）福建船政大臣沈葆楨因牡丹社事件來臺籌防，奏請建立專祠並追諡鄭成功，以勵風俗、正人心。清光緒元年（1875）3月興工，採用福州式的建築，8月竣工，名曰「明延平郡王祠」。

日治之後，首任臺南縣知事磯貝靜藏在供奉鄭成功的正殿之後殿又奉祀了鄭成功生母日人田川氏，且呈請臺灣總督桂太郎轉奏日本天皇，日明治30年（1897）1月13日獲准改列該祠為縣社「開山神社」，為總督府在臺灣設立的第一座神社。

該祠今日樣貌為民國52年（1963）重建，屬中國廡殿式建築，民國99年（2010）登錄為歷史建築。

庭院內拱橋流水、涼亭綠蔭，雲牆月門、樹木扶疏，配合青瓦朱壁，頗具園林之美；琉璃瓦作的廡殿建築，尤顯氣勢宏偉。頭門前方有座日式鳥居改建的牌坊，橫批寫著「忠肝義膽」，楹聯直書「孤臣秉孤忠，五馬奔江，留取汗青垂宇宙；正人扶正義，七鯤拓土，莫將成敗論英雄」，皆與頭門「前無古人」的匾額相互輝映，氣勢磅薄。壁間嵌有光緒元年（1875）所頒「奉旨祀典」石碑，昭示諭准建祠祭祀；左、右側門分別嵌上「擎天」與「闢地」的石額，乃是沈葆楨手書，備極推崇治世格局與氣度。

在延平郡王祠左側廊下有一口古井，水質乾淨；近年整修時，磚造井欄表面護以水泥，井口安置一片圓形木製井蓋，井蓋中間留有方形孔，井欄上架設轆轤，可讓遊客垂吊水桶取水，體驗汲水的樂趣。