玄天上帝的崇祀自古以來已存在，尤其在明代因太祖建國和成祖靖難之役的助力而更受崇奉。 1661年（明永暦十五年）鄭成功來臺驅荷後，臺灣多處建立真武廟，其中之一即是「台南開基靈祐宮」，成為當地的鎮守之所。1683年（清康熙二十二年）清廷占領臺灣派蔣毓英移守，到任期，為當地做出重要貢獻，包括設立兩所社學和在文廟旁設立儒學。 在1698年（清康熙三十七年）張玉麒總鎮來臺，感念神恩修建台南開基靈祐宮，使其規模更加壯觀，包括立祠三進、前置三川門、正殿、後殿、龍護室等建築。 日人來臺後，臺灣縣署裁撤，使「台南開基靈祐宮」香火大減。1912年（大正元年）由廖東等倡議重修，和臺南市街上有力者合捐，在開基靈祐宮前殿左側山牆的〈重修靈祐宮碑記〉詳細記載了此次捐費者的姓名。 在1984年（民國七十三年）成立「修建委員會」，進行大規模的重建工程，歷時六年完成，至今，「台南開基靈祐宮」依然是當地信仰的重要據點，歷經多次修建，保留了其悠久的歷史脈絡。