遠在幾千年前的介之推為何在台灣成為被祭祀的神祇？臺灣早期移墾先民隨身攜帶香火或小神像，以祈求安然度過有「黑水溝」之稱的臺灣海峽。根據「臺南州祠廟名鑑」記載，舊庄結社之初，廣東人移住本地，時攜來開山大帝香火奉祀於家宅。當時瘴氣未除，民眾多染上流行疾病，於是祈求大帝施醫救世，罹患奇難絕症者，因為每求必應，依賴痊癒，庄民感於神靈顯赫，信徒日增，眾議建廟。由地方有志陳、許二姓合力鳩金，至咸豐2年（1852）才建立一廟，雕塑開山大帝金身奉祀。
日治時期因遭逢明治37年（1904）斗六大地震，廟宇傾頹，有志者李魁發起庄民酬金350元重建廟宇，至明治41年（1908）廟宇才得以完工入火安座，現今所見外觀為民國60年（1971）重建。雖然「臺南州祠廟名鑑」記載建廟始於清咸豐2年，但是從最近出土的一面石碑，上頭碑額刻著「開山大帝祀典」碑，落款日期則是道光，顯見開山大帝廟應該早於咸豐2年興建。由於石碑長年被丟棄於廟後，風化和碰撞嚴重，相關內容依稀可見是記載嘉慶年間購置香火田的事跡。保守估計推斷，大埤鄉怡然村舊莊開山大帝廟，最遲在乾隆年間便已存在。
