臺灣總督府依照當時的社會情況，分別設有小學校、公學校、蕃人公學校與蕃童教育所，適用不同的法令。
明治33年（1900年）1月16日，日本人葦名慶一郎在卑南族知本社所創立的私立學校「知本學堂」，教授原住民子弟日語。明治34年（1901）5月15日，總督府通過於知本設立「臺東國語傳習所知本分教場」，遂借知本學堂設校，7月10日知本分教場開始上課。明治36年（1903年）3月17遷至新校地的校舍。明治38年（1905年）3月31日臺東傳習所廢止，翌日該校改稱「知本公學校」。明治44年（1911年）4月4日失火燒毀校舍1棟，隔年2月18日校舍改建落成。昭和16年（1941年）依據日臺共學政策「國民教育令」，更名為知本國民學校，戰後亦沿用該稱呼，直至民國57年（1968年）實施九年國民義務教育後，改稱為知本國民小學至今。