萬善爺信仰之由來，源自於清道光 25 年（1845）農曆六月初所發生的風災水禍。這一場大水災事件，根據《臺案彙錄甲集》、《臺案彙錄丙集》之記載可知影響範圍包括嘉義縣之虎尾溪以南至北港溪以北。 大水災後罹難者的屍骸，就近掩埋在四湖廣溝厝的新庄仔（今已不存在）、口湖的下寮仔、口湖青蚶庄西南以及下湖港大坵墳等四處。其中，以下湖港大坵墳埋葬的人數最多，墳修為半月形，而下湖港與下寮仔各建草廟祭祀之，此即金湖舊港蚶仔寮萬善祠與下寮萬善祠的前身。 下寮的萬善同歸塚，原是官兵將收拾的屍體合葬於一大坑內（即今日萬善祠後方之大墳）。因陸續又發現骨骸，故在原墓塚旁邊，再砌了近四百座小坵墳。除小草廟外，尚立「萬善同歸」石碑，爾後草廟因日久倒塌，於民國 63 年再建新廟時，便塑了萬善爺之金身 廣溝新庄的墳塚，因受海水淹沒，故於日本大正 3 年（1914）時遷葬於此，即今廟左後方近百座的小坵墳，除立碑外（刻有咸豐 2 年及大正 3 年重修之字樣，此立碑年代正是下寮萬善同歸祠之建祠時間及廣溝新庄墳塚遷葬之時），並在下寮萬善祠之北再建一小廟祭祀之。 下寮萬善同歸祠這些或大或小的墓塚，據當下寮仔人稱，少則是二、三副屍骸置入一水缸內，多者可能有十餘個小孩裝進一個水缸裡頭。過去，這些金斗甕或水缸的表面，會塗上石灰，抹成一纍纍的小墳坵。因歷年多有整修，爾後便塗抹上水泥，始成為今日之面貌。 口湖鄉蚶仔寮舊金湖港萬善祠和金湖地區金湖萬善爺廟，為了緬懷當年罹難的先人，每年農曆6月7、8日都有盛大祭典，還衍生出「牽水（車蔵）」儀式，是國內少見的水難民俗祭儀。