藤山雷太接手經營五間厝工場之後，為了因應大日本製糖會社大量員工在醫務或是婦女生產的需求，因此興建製糖工場時，亦設計「醫務所」，簡單的說，就是糖廠附屬醫院。此座建物由英國人規畫設計，融合西洋與日本風格的建築物。整體建物群從外部看去相當雄偉壯觀，內部空間寬敞，建築頂樓有座雙層通風設計的小閣樓，是此座建築物的特色。糖廠醫務室內設置有藥局、內科、外科、X光室、手術室、助產室、準備室、住院病房、醫生值班室、醫生及護士宿舍等。空間的規劃與齊全的設備完全不輸給現今的署立醫院。是當時虎尾在地最早，也是最先進且現代化的醫療院所。 起初製糖會社的醫務室服務對象僅限於製糖工廠的員工和眷屬，看病的費用直接從薪水當中扣除。後來因虎尾市街人口增加，開放一般民眾看診，但醫院沒有批價的地方，民眾需另行到糖廠總務出納繳費。二戰之後，製糖會社歸台糖所有，糖廠醫務室改名爲台糖附屬醫院，並增加牙科及婦產科，讓醫院功能更加完善，對虎尾街民眾來說可謂相當便利。不過對於戰後虎尾鎮在地人而言，有印象的不是醫院，而是小時候常去的理髮部和洗衣部。