「林爽文之亂」結束後，當時嘉義縣轄下斗六門分縣丞將戰死的鄉勇義軍與地方仕紳予以集中收埋骨骸，葬於當時斗六門夯土城牆城南之處，即當今社口聚落周邊，並興建「南壇」義塚祭祀。到了日治時期，柯鐵、簡義等份子糾眾發起武裝抗日，並以古坑山區為據點進行游擊戰，對日本統治者造成極大的影響。日本當時利用地方仕紳對柯鐵、簡義，誘使這些武裝抗日份子下山歸降。當時斗六支廳長荒賀直順為這些歸降的柯鐵部眾舉行「斗六歸順式」，並在歸順式現場安排武裝部隊將歸降的反抗軍集體殺戮，史稱歸順式事件。

這些在歸順式會場遭到殺戮的冤魂們埋骨於社口墳塚區的「靖安寺」與當初的鄉勇義軍為鄰，而這裡也就是即為人們所熟知的「社口公墓」。不過隨著斗六市的擴張與都市重劃，社口公墓已經成為歷史，公園、綠地、大樓取代了荒草的墓地。雖然現在靖安寺仍記憶著這段歷史，但沒人知曉在多久之後這段歷史將從人們的記憶移開，而靖安寺則成為一般信徒大眾膜拜的地方。