關山是東部開發較早的地區之一，日本政府在此建立支廳與理蕃中心，使其成為臺東廳僅次於臺東街的商業中心，也促成了大關山地區現代化教育體系的開端。明治39年（1906）於今關山國小校址設立「臺東廳公埔公學校里壠分校」，明治41年（1908）獨立為「里壠公學校」。大正3年（1914）於今公有市場至中華電信一帶設立「臺東尋常高等小學校里壠分教場」專予日人子弟和皇民化臺人子弟就讀，大正7年（1918）獨立為「里壠尋常小學校」。國民政府來臺後，將兩所學校合併為「關山國民學校」，低年級於原「關山尋常高等小學校」校舍上課，其餘在「關山國民學校」校舍上課。民國57年（1968）實施國民義務教育後，改為「關山國民小學」至今。