同治年間「戴潮春事件」致使斗六門分縣署再度遭到攻陷，為了平亂，清朝遠從福建派兵前來戡亂，士兵、義勇、百姓在民亂事件中皆有傷亡。亂平之後，地方仕紳共同集資重修「南壇」義塚，將因林爽文事件、張丙事件、戴潮春事件等鄉勇兵丁或無辜遭難的民眾集體入祀，而福州奉派來臺的死難鄉勇則另興建「福州萬姓祠」，並於南壇義塚旁加以祭祀。

此座「福州萬姓祠」在二戰後被隨著國民政府轉進來臺，並在斗六落籍的福州人所祭祀，更因此組織「雲林縣福州十一縣市同鄉會」來加以維護。民國100年因為雲林縣政府、議會與斗六市公所依「社口地區區段徵收重劃案」，將社口公墓全數刨除。而這座位於社口公墓的「福州萬姓祠」雖倖免於難，被保留下來，但卻成為重劃區旁突兀的建築物，見證歷史多次民變中雲林鄉勇保衛家園的事蹟。