昭和十二（1937）年，日本政府對台人進行皇民化運動，加強對台人民間信仰及宗教活動管制與禁止，尤其是道教信仰約束嚴格，小神小廟還可以勉強允許，但建廟立寺絕對禁止，當時便暫時將現在的福天宮天上聖母金尊便安奉在天福祠內，與福德正神同受奉祀。當時每逢農曆初一、十五都有村民輪流攜帶牲禮、水果至天福祠拜拜，犒賞將軍(即天兵天將)之習俗，雖然後來鄉民為聖母金尊建廟安奉於現在的福天宮，至今在福天宮仍然延續這個宗教習俗。