關山天后宮約在光緒20年（1894）間，由臺中入墾的信徒帶來一尊媽祖神像，供奉於今鎮上三民路21號民宅後的草房，墾民篤信者甚多，惜毀於明治44年（1911）的颱風；遂將媽祖神像移到今中山路69號民宅後方空房供奉，後因信徒日多，參拜出入不便，大正10年（1921）再次遷到今三民路55號民宅供奉；久祀於民宅畢竟非長久之計，於是信徒倡議建廟。

昭和3年（1928）由信徒曾石生發起，李添壽、彭禮、林連祥、張石船、曾石生、趙添火、朱河等七人捐出土地，然因經費籌措困難，再由林禎、林阿乖等信徒發動樂捐興建，於是12月5日完工安座舉行建醮大典，並加祀關聖帝君、神農大帝等神像。

日治晚期，實行皇民化運動，進行所謂「寺廟總整理」政策，企圖消滅漢人民族信仰，並強制參拜神社。關山天后宮為免神廟被毀，只好改稱「關山寺」，信奉三寶佛祖，但民間仍在暗中奉祀，如期舉行祭儀。

戰後，關山天后宮得以恢復原有面目，信徒繼續信仰供奉；民國50年代（1961）由於建築年久失修，牆壁龜裂有倒塌之虞，地方士紳吳光亮等倡議重修，到民國59年（1970）終告完成，始有今日的廟貌，是年舉行建醮大典。民國68年（1979）信徒蔡學傳捐獻廟北土地，由眾信徒再捐資增建三寶佛殿，民國69年（1980）完工再行圓醮大典。