道光26（1846）年時，廖氏族中先賢廖賀、廖榮捷、廖文江、廖拔琦、廖昌盛、廖裕賢、廖秋紅及廖子牌等八人，為籌建宗祠共同捐資，時購置田園約5甲，作為設立祭祀公業之用。後於道光28（1848）年後於下湳設立繼述堂，道光29（1849）年竣工落成，定期舉辦春秋二祭之祭典，舉凡元子公之裔孫即可參加盛典，為祖先自中國渡台後宗族活動的初次創舉。後因遭遇強烈颱風的侵襲而吹毀，乃於昭和1（1926）年易地重建，昭和3（1928）年竣工，計時一年有半，並將祠堂堂號依第三條祖訓由「繼述堂」改稱為「崇遠堂」。