歸園的第一任主人為吳璘，當時因看中歸仁的繁華而在此建築一座十公頃大的「下宅公館」，建材、格局均十分講究，精雕細琢，富麗堂皇，但其後世子孫一代不如一代，故此大宅曾數度易主，而後在歲月流逝任其荒蕪，之後詩人陳江山看中此處，便於民國二十三年買下，整修後易名「歸園」。作者筆下的歸園充滿詩意，高明的構圖方式引人遊歷其中，從右下方的蜿蜒小橋順勢而上，在轉折處順著階梯向下行走，階梯的盡頭自然使人轉身面向右方的美景，畫面空間在作者細膩處理下充滿了時間性，可居可遊，可惜如今它歸園已不存在，陳家後代將之改建為一棟現代化的二樓別墅。若想知道它昔日的美景，也只能從作品中得知了。