洪以南長子洪長庚，曾赴日留學取得眼科博士學位，為台籍第一人。洪以南過世後，洪家遷回大稻埕日新町，洪長庚於今日寧夏路圓環西側一帶設立達觀眼科。

洪以南女兒洪寬寬嫁淡水人黃炎生，黃曾赴日求學，取得法官資格，後派回台灣，為第一位台籍判官。洪家舉家遷回台北，達觀樓雖歸洪寬寬所有，但未入住，洋樓歷史已超過六十年，屋況漸差。

民國50年代（1960年代），在淡水街新店段（今中正路）經營水豆腐加工、魚丸製品生意的德裕洪家，起家店為於老街福佑宮旁，老闆娘許洪俸女士因長久心儀闔家能居住於大宅院，對於日益破舊的紅樓頗有興趣。恰好得知洪寬寬偕夫婿有意赴日生活，亟欲脫產，在當時19萬8千成交。達觀樓正式進入德裕洪家時代。