約在清光緒21年間（1895），一位由臺中入墾的信徒帶來了一尊媽祖神像，供奉於今臺東縣關山鎮上三民路21 號民宅後的草房，香火頗為旺盛。後輾轉祀於私人民宅，有信徒發起建廟，並於昭和5年（1930）年底落成。二戰爆發後信徒將關山天后宮改為關山寺，並祀奉三寶佛祖。日本戰敗後才又回復原有供奉模式。民國68年（1979）由信徒捐贈廟宇北側土地及樂捐興建佛殿，隔年落成。民國59年（1970），廟宇建築因年久失修，在地方人士的號召下重修完工，並在民國71年（1982）建成門樓，成為今日的樣貌。