西螺張廖家廟崇遠堂是由祖籍位於福建省漳州府詔安縣官陂鎮的張廖族裔所建，清朝時因為張廖族裔所在的官陂鎮地處偏遠山區，因此清康熙40年 （1701）左右遂開始有族人冒著違反海禁的規定，偷渡來臺落腳當今的二崙鄉境內拓墾。在拓墾過程為了因應與四周其他族裔的衝突和治安防禦，張廖族裔遂訂出七條祖訓，其中第六條所寫到「堂教修譜效親睦族遵行祖訓」，於是有修建家廟之議。道光26年（1846）以廖賀、埔姜崙廖拔琦、下湳廖文江等人為首組成建祠委員，並在當時彰化縣西螺堡下湳聚落購置五甲地，做為興建家廟之用。道光28年（1848）年動土興建，隔年完工舉行落成大典，將家廟堂號命名為繼述堂，此為張廖家廟崇遠堂的前身。
繼述堂因年久遭風雨摧殘而損毀，昭和元年（1926）由廖大漢為首組織重建委員會，嗣後由廖重光、廖學昆、張崇岳等人接任重修家廟，重龐大建經費由當時族親共同捐獻，昭和3年（1928）完工，並將堂號由「繼述堂」改為「崇遠堂」。崇遠堂見證詔安張廖家族的拓墾史，也是詔安客家人的重要精神與信仰中心，因此雲林縣政府文化處在2011年公告為歷史建築，並由客家委員會與雲林縣政府共同補助5000萬元經費整修，2015年修繕竣工。
