創建於清乾隆7年，是一座保有完整潮州風格的廟宇，原是廣東潮州府揭陽縣霖田都的獨山、明山、巾山三山之神，屬於潮州地方的鄉土神，具有強烈的地域性神格。關於三山國王信仰的起源，元人劉希孟與明人勝端明在《明貺廟記》及《三山明貺廟記》中有詳盡記載。三山國王廟的信仰得以由潮州移植臺灣，主要在於移民勢力擴張。潮州籍民入臺可溯鄭氏時期，而這些潮民便與臺南三山國王廟的建立有著密切的關係。由於清領初期渡海禁令的限制，移臺者大多單身，為了旅途平安，便先在家鄉的三山國王廟中求得爐香，做為保佑的精神支柱。初來臺灣的移民居無定所，南遷北徒，因而帶動了信仰的傳播。在臺南，三山國王廟僅有一座，主要的原因在於臺南開發甚早，潮民所能拓張的勢力範圍十分有限，當然也因而保留了潮州地區早期的完整建築風格。文獻上有關臺南山三國王廟的記載，首見於清乾隆17年（西元1752年）魯鼎梅主修、王必昌的《重修臺灣縣志》為依據。直到日昭和13年（西元1938年）日本人前島信次在《科學的臺灣》〈臺南的古廟〉一文中，對於建廟時間提出了質疑。前者以清雍正七年為建廟時間，前島者根據前殿所立清乾隆九年的匾額推測應為清乾隆七年。不過在《三山國王廟的調查研究書》中認為比較合理的說法是：「草創於清雍正7年（西元1729年），清乾隆7年（西元1742年）由臺灣支線率粵東諸商民修建」。有感同鄉人士，前仆後繼、離鄉背井、孤獨無靠，因而闢廟一角，供鄉親來往寄居。