清嘉慶年間興建的文昌祠，隨著時空發展，空間逐漸不足，到了1875年（清光緒元年）遂將文昌祠遷到今碧江街；一來擴建祠宇；二來於文昌祠左側護龍設置崇文閣，作為義塾及祭典使用。 一直到日治時期，日本人為統治方便，全面推展學校教育，教導臺灣人日語，因此在1898年（日明治三十一年）在新莊文昌祠設立「臺北國語傳習所新莊分教場」；同年，待公學校令發佈之後，改「臺北國語傳習所新莊分教場」為「興直公學校」，直到1911年 （日明治四十五年）「興直公學校」新校舍（今新莊國小）落成後才全數遷離文昌祠。 公學校的設立，取代了原本義塾的功能，但崇文閣仍持續漢文補習教育，直到日治時期末期，日本人強行推動皇民化運動，禁絕漢文教育，同時禁止民間信仰，文昌祠的香火遂逐漸凋零。