泰山地區約為雍正五年（1727年）始有漢人進行開墾，此後乾隆十三年（1748年）更有貢生胡焯猷與林作哲、胡習隆等人組成「胡林隆墾號」開墾泰山核心地帶，並包含水田及大圳，此地逐漸富庶繁榮，亦吸引許多漢人移民移入。 而早期移民由於地緣之因，經常供奉較接近或熟悉的山巖之祖師，頂泰山巖便是其中之一，山巖名稱以顯應祖師黃惠勝為名。泰山頂泰山巖之創建係由福建省安溪縣李氏二十三世「克」字輩與「符」字輩共同奉迎顯應祖師來臺，並將祖師廟建造於八里坌保山腳庄大崎腳厝（即今日位址）。咸豐三年（1853年）因艋舺發生械鬥事件禍及祖師廟，遭到焚毀，約於同治六年至同治九年間（1867-1870年間）新廟建成，原名福山巖，而後更名為泰山巖。 昭和七年（1932年）由中和大木匠師陳應彬主持設計監造重修廟宇，是為今日樣貌，民國七十四年（1985年）指定為古蹟。