明治35年（1902）5月25日本人舉行斗南地區的歸順式，當日義軍趁機襲擊日軍，導致多名日本兵傷亡，為了紀念此事，日本政府便在順安宮廟前設置一座「忠魂碑」。昭和12年（1937），臺灣總督府為推動「皇民化運動」，以「神佛升天」的名義，拆除各地祠廟並燒毀神尊。昭和16年（1941）時任斗六郡守的中松乙彥先生為報復早年的日本守備軍遭義民軍刺殺的的仇恨，遂藉由皇民化名義將斗南順安宮媽祖廟予以拆毀。

順安宮的開基媽祖、伽藍爺及魁星爺的神像在曾清慕先生與斗南庄長陳奎牛出面協調下，由信徒請入「小南天」土地公廟內供奉。戰後，國民政府來臺，將日治時期所立的「忠魂碑」破壞，僅有部份斗南街上耆老的能記得此事且清楚立碑位置。