笨港在明末清初時是一優良港口，對外貿易極盛。當時笨港以北的書生，每次科期往台南府城赴試，必經笨港街休息，惜欠一靜處讀書休憩之所。道光19 年（1839）蔡慶宗有鑑於此，首倡捐建「文昌廟」。據光緒20 年（1894）倪贊元雲林縣采訪冊載：「文昌廟在街西北，堂宇二進東西二廊。道光19年，貢生蔡慶宗倡捐巨資興建，奉祀文昌帝，以為會文講課之所。光緒元年（1875），貢生陳纓宏等勸捐重修，光緒十三年（1887）里紳蔡慶元等集捐，興築垣牆數十丈。」

貢生蔡慶宗倡捐建時，甚得笨港當時財力雄厚之各郊商支持，共募得白銀3千8百50兩，鳩工興建文昌廟及東西二廊。道光19年（1839）竣工，奉祀五文昌夫子，並每年舉行春秋二祭，祭祀完全遵循古禮，主祭者均由秀才以上學者擔任，東西二廊闢為學堂，聘請塾師講學，嘉惠地方學子。自此笨港文風鼎盛，人才輩出，培有不少秀才、舉人、貢生、進士。