1953年，臺灣省主席俞鴻鈞（中）來訪，楊肇嘉（右三）與客人在門前合影。 「六然居」乃楊肇嘉昭於和12（1937）年在楊宅頂厝與下厝之間所造之生活起居休閒的庭園，其名中的「六然」乃擇取《菜根譚》中「自處毅然、處人藹然、有事嶄然、無事澄然、得意冷然、失意泰然」的古訓為座右銘惕勵自己，因而自號六然居士，亦作為庭園名稱。其一生親手打理六然居的庭園布景和植栽，此處也正是楊接待黨政要員及賓客的地方，至民國80年代，因外環道路（今臺一線清水區中華路段）開闢之故，六然居的土地被徵收後拆除無存。 民國42（1953）年4月，吳國楨請辭臺灣省政府主席後赴美，改由俞鴻鈞（1898～1960年）接任，接著臺灣省政府進行改組，楊肇嘉則自動提出辭卸本兼各職，並獲准免兼臺灣省政府民政廳長，隨後接獲蔣介石總統任命令，繼續聘任為臺灣省政府委員。 輔辭去民政廳長一職的楊肇嘉，馬上被俞鴻鈞指派為「地方預算審核小組」召集人，仍委以重任。 審視楊肇嘉在民政廳長任內進行的工作，負責縣市長、縣議員、臨時省議員的選舉，並執行土地改革、改善民俗推動等多項重要政令，這對國民政府撤遷來臺後的政局穩定與施政確立，啟用臺籍政治菁英，在策略上發揮相當的助力和貢獻。 （更多相關知識，詳見《劍膽琴心：跨越兩個時代的六然居士楊肇嘉》一書）