1954年，臺灣省主席嚴家淦（坐者中）來訪。 「六然居」乃楊肇嘉昭於和12（1937）年在楊宅頂厝與下厝之間所造之生活起居休閒的庭園，其名中的「六然」乃擇取《菜根譚》中「自處毅然、處人藹然、有事嶄然、無事澄然、得意冷然、失意泰然」的古訓為座右銘惕勵自己，因而自號六然居士，亦作為庭園名稱。其一生親手打理六然居的庭園布景和植栽，此處也正是楊接待黨政要員及賓客的地方，至民國80年代，因外環道路（今臺一線清水區中華路段）開闢之故，六然居的土地被徵收後拆除無存。 民國42（1953）年4月，吳國楨請辭臺灣省政府主席後赴美，改由俞鴻鈞（1898～1960年）接任，接著臺灣省政府進行改組，楊肇嘉則自動提出辭卸本兼各職，並獲准免兼臺灣省政府民政廳長，隨後接獲蔣介石總統任命令，繼續聘任為臺灣省政府委員。 民國43（1954）年6月嚴家淦接任臺灣省主席，時楊肇嘉正擔任彰化銀行顧問；而楊出面調解高雄醫學院（今高雄醫學大學）人事糾紛案時。嚴就任行政院長。（更多相關知識，詳見《劍膽琴心：跨越兩個時代的六然居士楊肇嘉》一書）