楊金魚、楊篤選兄弟早年隨親族前往星馬發展，致富返鄉興建此處建築，兄長楊金魚住在86號左側增建疊樓護龍，另一棟則由弟弟楊篤選居住。據了解在興建此屋之前，為了打造建築所需石材，石匠們在現建築的右前租屋近二年的時間（當時一個小工的薪資是一塊半），才將建築所需石材打造完畢；楊金魚居住於此時，家中聘有佣人數人，且在護龍建築置入可供楊金魚抽鴉片的煙舖。另外，在86號建築大廳燈樑上懸掛與名字相同的吉祥物「金魚」，直到日本侵華之時，楊金魚一家為了躲避戰亂舉家遷往星馬，從此再也沒有回到家鄉。民國38年（1949）國軍駐守金門，由於楊金魚、楊篤選兄弟宅第建築規模宏大，因此被選為金西旅旅部辦公室，屋主楊少圖還記得當時家中的大廳一定會擺放蔣中正的照片，所有軍官來前來此處開會時一定要向蔣中正照片行鞠躬禮。此外，由於建築後方就是湖埔村辦公室，且屋後空間開闊，常做為湖埔村民重要集會場所，楊金魚兄弟宅第後方牆面曾有軍事標語。