番學堂為劉銘傳所設，原為撫番開墾、義塾教育的延伸：「設番學堂於臺北府治，擇土目之弟而教之。一道同風。漸革頑陋。其不服者則移師討之。剿撫並用，可謂能得其宜矣。」除了臺北番學堂外，還有恆春縣義塾、鳳山番學堂、阜南義學、頂破布鳥莊番學、巒大社番學、楠仔腳蔓社學堂等處，都是劉銘傳設立學堂以施教化的實政之一。 臺北番學堂設立於光緒16年(1890)3月，與西學堂遷移至現址所在同時，為相關設施最晚設立者。番學堂的教育，以臺灣原住民孩童為主要教育對象，並聘請羅步韓、吳化龍、簡受禧三人為學堂教習，教導原住民學童習字、讀書及官話。 這些教育設施，於1891年劉銘傳去職後陸續廢止。儘管番學堂遭廢，然而番童教育仍於城內天后宮內持續進行。連橫《臺灣通史》道出了當年西式教育短短三年從設立到廢止的感嘆。廢止後的西學堂、番學堂，則改為釐金局、鹽務總局繼續使用，直到1895年日人治台以後。 番學堂以主堂及前方左右兩學舍組成，該棟建築較西學堂主堂建築規模稍大。因此，日本領台初期，先作為總督官邸、旅團司令部，以及後改制的守備隊司令部便權設於此，日治後期，再因其曾作為乃木希典總督之官邸，而將其更為「乃木館」使用。