1754年，台灣民主運動先驅者林獻堂之祖先林石渡台，將其宗祠供奉之「五穀神農皇帝位」神位牌和太子元帥神像及玄天上帝（帝爺公）神像移至臺灣供奉，最先奉祀於彰化，後三代林甲寅移居阿罩霧，於1862年移至設於霧峰四德路，太子爺土地公井邊，重新修葺神農大帝及福德正神廟。1883年，林朝棟目睹神農廟廟宇破舊不堪，興工重建。1980年，買下緊臨原神農廟邊的「文化戲院」做為重建用地，1983年重建，成為今日現貌。從林石還鄉迎接的「五穀神農皇帝位」牌，到今天的「聖賢宮」，香火一直延續不斷。每逢農曆四月二十六日為神農大帝統一聖誕祭日，祭典莊嚴隆重。