和石龜溪耆老聊天，最常聽到的一個說法是在清朝時代的石龜溪人口眾多，商業繁盛程度遠勝於他里霧（斗南），後來是因為石龜溪人抗日而遭到大屠殺，加上鐵路車站設於他里霧（斗南），這才沒落下來。

耆老的說法在清末成書的《雲林縣采訪冊》可以得到一些驗證，書內記載石龜溪庄是「他里霧堡」內人口第2多的村莊（第1名為庵古坑庄），而石龜本庄也支持了元帥爺廟等3座主要廟宇的香火。顧名思義，元帥爺廟奉祀元帥老爺，信徒多不曉得其來歷，僅知道香火來自民雄。

現在的元帥爺廟是昭和甲戌年（1934）所建，主體結構仍完整。廟內有日治時期的紀念碑和老匾額，懸掛在神龕上的「聖恩普濟」匾是廟宇落成時，住在斗六郡大埤庄廍前寮（現為大埤鄉嘉興村）的信徒葉朝所贈，並由元帥爺廟建築委員會委員長葉清河書丹。