霧峰林家花園（萊園）內的五桂樓與小習池上的荔枝島之間，早年原無任何連接通往的建物，如演員或一般人要上觀稼亭（原為演戲之歌台）需藉著舟楫為交通工具，才能登台演出。後因不便之由，於1906 年先行築一道木橋通行。在1932年（日昭和十年）時改建成現在這座水泥橋，因為橋體規劃設計呈現彎彎的造型，遠看像一道彩虹，故取名虹橋。虹橋的橋墩由紅磚砌成，不同於相同時期的的石砌造型建物。 梁啟超先生曾於1911年來臺訪遊，居於萊園五日，對於萊園的美景讚賞不已，也對當時萊園主人的志節充滿欽佩之情，因此共留下詩句十二首，後人稱為「萊園名勝十二絕句」。其中有兩首是描述虹橋所連接的小習池上荔枝島：「一池春水干誰事，丈人對此能息機，高柳吹綿鴨穩睡，荔枝作花魚正肥。一灣流水接紅牆，自憩圓陰納午涼，遺老若知天寶恨，新詞休唱荔枝香。」