曾氏祖先於清初渡海來臺，據曾家子孫口述，曾氏洋樓乃曾長先人耗資約30多甲地所起造，曾長先人的父親曾老彭先人曾任臺南州嘉義廳保正，另依曾家子孫珍存的家族世代芳名之「祖傳留芳」得知曾老彭先人是曾家第13代，曾長先人為曾家第14代，其長子曾振先人為曾家第15世代，且曾振先人曾任溪口鄉第2、4介的鄉長。 從文史資料初期判讀可知曾氏家族的史實與雙溪口、溪口的歷史文化等脈動緊密相連，惟因社會變遷，曾家子孫多數離鄉發展，曾氏洋樓現已無人居住。