民國40-80年代（1950-1990年代）的紅樓，前期前十餘年德裕洪家三代一起居住。並將二樓閣樓部分，分租給當年淡水幾所大專學生。後期，屋子狀況不佳，洪家人也搬出古宅，另於附近興蓋住宅。

洪樓後來曾經短暫轉租給教會人士居住。教會人士搬走後，紅樓進入一段十餘年無人居住的時光。

這期間，也有人侵入取走文物，或是流浪漢居留，造成環境問題。民國80年代（1990年代），因淡水河岸燒烤餐廳興起，有業者探詢紅樓開設燒烤餐廳的意願，意外勾起德裕洪家修整老宅出租的意願。為求慎重，請來古蹟專家李乾朗教授、淡大建築系黃瑞茂教授為顧問，展開維修計畫。