呂氏為漢人移墾八德的大姓之一,根據族譜記載來自福建漳州詔安二都秀篆，屬呂萬春房支裔孫。乾隆末年，呂氏族人集合五十幾房共同出資購買田產並興建「著存堂」，為萬春公的祠堂，也是管理田產收租之公館，又名上公厝。光緒11年(1885)呂登元中舉，更有族人拓展至大溪，呂氏家族移墾有成，落地生根、開枝散葉。

　　著存堂創建雖早，但現狀主要重建於日治大正8年(1919)，據彩繪上落款「秋菊育佳色時在甲子  季之月  邱鎮邦塗筆」,甲子年為大正13年(1924)，推測歷經數年建築才裝修完成。

　　重建的著存堂規模為三合院並帶軒亭，建築本體結構系統為承重牆與木構造。正廳牆體由磚、石(條石、卵石)及木材構成，木作由名匠葉金萬主持,木雕具豐富傳統吉祥圖案；彩繪為名匠邱鎮邦所作；擂金彩繪尤其精彩；正堂與橫屋的窗櫺上方有書卷、桃、石榴等具有寓意的泥塑；並採用日治時期的洗石子竹節窗櫺與綠釉花磚，展現地域時代性的建築工藝。

　　著存堂的軒亭於民國85年（1996）遭風災損毀，經考證現場遺構及舊照片後，於民國105年（2016）復原，並在地坪、牆面、屋脊剪黏等處可見原貌與後來修補的對比，凸顯求真的修復精神。

　　呂宅著存堂呈現八德地區漢人的拓墾精神，在歷史意義與建築特色上皆有很高的價值。