民國52年（1963），小學六年級的吳聲爐，跟著父母從新竹移居臺東初鹿，當時已有其他新竹同鄉先來到初鹿，種植鳳梨為生、提供工廠收購。當年吳家來到初鹿後，全家四口人先借住同鄉家裡將近3到4個月，後來才搬到現在居住的地方，父親也是選擇靠水源較近的區位購買土地建造房子。最初的房子，是用檳榔樹做為柱子的茅草屋，後來才陸續改建成現在的規模。吳家遷至初鹿的時期（民國52年、1963年），幾乎是桃竹苗客家人最後一批遷移至初鹿的移民。