宗祠為各姓子孫奉祀祖先的神聖建築，亦是執行家族權力的威嚴場所。 吳氏大宗祠於1868年（清同治七年）就被倡建過，但一直到1880年（清光緒六年）才由臺灣鎮總兵吳光亮與知府吳本杰，出面召集吳姓商民興建完成。 1895年（明治二十八年）臺灣割讓日本後，日本政府一度以宗祠為吳光亮等人所建，視為官產而將其沒收，後經吳氏族人以捐建之款乃來自全臺吳氏宗親，力爭後得到日本政府同意發還，由全臺吳氏族人共同維護保持，但已面目全非、荒廢不堪。 1923年（大正十二年）吳氏宗親捐資重修，整修後的廟堂煥然一新。1964年（民國五十三年）五月，族人見祠堂久經風霜，遂有了重修的念頭；九月重修期間，施工工人菸蒂隨意亂丟，引燃大火，將宗祠完全燒毀，整修工作因此停頓。其後再經熱心族人的號召下，於1966年（民國五十五年），重新進行宗祠的重建工作。吳氏大宗祠曾於1990年（民國七十九年）因經濟效益考量險些拆除改建為商業大樓，吳姓宗親會主動提報內政部申請評鑑，經指定為古蹟後的吳氏大宗祠才免於拆除，但由於乏人管理，內部毀損嚴重，已於1998年（民國八十七年）進行搶修工程，針對屋瓦、椽條腐朽、掉落、滲水等現象提出解決對策，包括搭設遮雨棚架、架設室內支撐設施、防蟲措施之施作。