胡焯猷於康熙末年、雍正年間渡海來臺，乾隆十三年（1748年）與林作哲、胡習隆合組「胡林隆」墾號，乾隆二十八年（1763年）將自己位於泰山的竹圍、房屋、魚池等項充作義學，又年收租陸百餘石永作膳脩膏火之資，義學成為明志書院。 乾隆四十六年（1781年）同知成履泰擬將書院南遷，但建造書院用地之竹塹南門地勢低窪，而另購西門蔡姓人家地基建造書院，同年竣工，泰山明志書院正式遷移至竹塹，遷移之費用為原新莊平原中港厝地區墾主郭宗嘏原欲捐租學宮未果後轉用。 原在泰山的明志書院遷移竹塹後，規模不及於竹塹的明志書院，但仍為地方重要的文教象徵；雖仍保有一定經費，但光緒二十一年（1895年）臺北知府管元善以八里坌新莊山腳義塾係新竹明志書院之移廢舊址，以後應稱新莊山腳義塾，不得再稱舊書院，取消泰山舊明志書院之名。 泰山明志書院，在日本統治以後，成為書房或義塾，維持其教育功能。約於1910年代至20年初喪失了教育功能，但仍然繼續維持其清治以來的祭祀功能。後因房舍倒塌，大正九年（1920年），有胡焯猷之後人胡全擔任管理人發起募捐重建，建一進三間，以供奉朱熹及胡焯猷，至大正十年（1921）完成。大正十一年（1922年）6月，臺灣總督府發布私立學校規則，將書房納入私校學校管理。昭和十八年（1943年）總督府更進一步頒布廢止令，書房與義塾均遭勒令停辦。至民國九十二年（2003年）因年久失修倒塌，後進行清理與整建。