1895年，萊園在林文欽主導的第一階段工程下，完成了步蟾閣（今五桂樓），當時重簷歇木式構架，1907年由林獻堂主持第二階段改建工程，增建飛觴醉月亭與虹橋，並改建步蟾閣，將原本的重簷歇木式構架改為現今折衷磚拱樣式，並更名為五桂樓。 五桂樓初稱「步蟾閣」，步蟾即步月之美，是一閩南翹脊燕尾之迴廊樓閣。「步蟾閣」後來改名為「五桂樓」。當年頂厝林家有五位堂兄弟：紀堂、烈堂、獻堂、澄堂、階堂，且於樓前栽植五顆桂樹，故命名為五桂樓。五桂樓的一樓主要是用來招待賓客用的，因當時霧峰林家的政商關係，五桂樓在臺灣的政治與文化上更有著重要的地位，二樓乃是羅老夫人的起居之所，二樓的陽台主要是用來觀戲用的。梁啟超先生曾遊歷萊園，留下詩句：「娟娟華月霧峰頭，汜汜光風五桂樓。傳語玉孫應好住，海隅景物勝中州。」今日所見五桂樓牌匾，是於2011年重修後所新作。