關山基督長老教會始於昭和5年（1930）。起初，關山鎮上並無教會或禮拜堂，此地僅是屬於富里教會的外鄉區，因交通不便，往返費時，參加禮拜的狀況並不理想，於是協商信徒蘇阿成，在其家中設置講義所，並於昭和9年（1934）更名為關山基督長老教會。昭和13年（1938）由於信徒日增，正式升格為關山堂會。民國37年（1948）戰爭結束後，禮拜人數遽增，遂購買日人留下的房屋為聚會場所，即今三民路12 號。在此地，教會建築歷經了三個時期，民國37年（1948）至民國50年（1961）為日式木造建築，民國50年（1961）改建為磚造教堂，其後雖曾數次修繕，但主體建築並未改變，直到民國96年（2007）因為建築內部的木材遭白蟻蛀蝕，為安全考量，遂新建為鋼筋混凝土建築，於民國99年（2010）落成，即今日所見之教堂。