1887年初建「步蟾閣」，在1893年林文欽中舉後，1895年主導萊園增建屋，第一階段工程原名步蟾閣的五桂樓完工，當時建築樣式為重簷歇木式構架，1907年由林獻堂主持第二階段改建工程，除了改建觀稼亭為飛觴醉月亭與增建虹橋外，亦近一步修改步蟾閣，將原為重簷歇木式構架，改建為現今折衷磚拱樣式，並改名五桂樓。 改建後的五桂樓一樓是客廳，二樓是羅太夫人的起居室兼觀賞戲劇之所。羅太夫人仙逝後，五桂樓成為接待賓客之所，常有詩人墨客在此把酒論詩，故亦有「酒樓」之稱。 步蟾閣牌匾置於五桂樓後院二樓的入口上方，牌匾上留有「五桂樓前身為步蟾閣，此閣樓乃霧峰林家祖先林文欽清朝年間建造」；及「步蟾閣有『漫步月光，蟾宮折桂，及第之榮』意涵」；「林博正　林承峯　林龍明　林承俊　林芳媖　林小海敬上；2002年十二月二日修建 竣工」等題字。