西元1941年左右，楊家號召左鄰右舍約5、60人一起將木房子抬了過來，當時人情味濃厚，彼此都很樂意互相幫助。一直到民國57年遭遇到了大颱風，三間房子都呈現半倒狀態，隔年便在原地重建翻修，因此從現今的格局仍可看出當時搬遷的房屋樣貌。這間屋子使用了大量檜木，因以前東部是檜木產區，價格不貴且耐用，因此在東部，幾乎老一點的房子都有檜木的蹤跡，現今構成主建築兩側牆壁的木板甚至比楊世安還老，已經有八十幾年的歷史了呢。