咸豐九年（1859年），淡水開港通商，成為清末全臺最大的商港，並廣設洋行等政府機關，但明治二十八年（1895年）臺灣進入日治時期後，臺灣總督府有感淡水河逐漸淤淺、航運不便，便將港口貿易重心轉移至基隆港，因此淡水港對外運輸的優勢消失，總督府重新規畫淡水地區的建設，如開設學校、鐵道淡水支線通車及各大市街開闢等，經過幾年建設，淡水地區以北烽火街一帶逐漸形成日人行政與居住區域。 木下靜涯先生約先於大正八年（1919年）來臺訪友短暫滯留，並在大正十二年（1923年）將妻兒接到臺灣定居，最初便是居住於淡水烽火街地區的達觀樓，而後租下當時編號為26番地的三層厝，以作為畫室、畫廊、居住場所，並取名為「世外莊」，即為今日所見之「木下靜涯舊居」。 木下靜涯一家在昭和二十年（1945年）返回日本，此棟建築於二戰後陸續由淡水稅捐稽徵分處所屬職員使用，並於民國九十九年（2010年）登錄為歷史建築。