1902年（明治35年）鐵道部將縱貫線南部工程從新營往北推進到嘉義，同年4月20日嘉義與新營間通車，第一代的嘉義火車站可能在這個時期竣工，或許是磚木構造、鋪日本瓦的建築。1908年縱貫鐵路全線通車，繼之糖鐵於1911年（明治44年）、阿里山森林鐵路於1912年（大正元年）陸續通車，嘉義火車站成為當時嘉義地區的交通樞紐。1929年（昭和4年）因應交通的需求進行嘉義驛改良工事擴張嘉義站，工事在1933年（昭和8年）完成，新的站體成為第二代嘉義火車站，即為照片的模樣，是現代主義折衷式樣建築，縱貫線上第一個鋼骨鋼筋混凝土構造車站，略早於台南火車站。
二次大戰期間，第二代嘉義火車站曾遭盟軍轟炸而部份損毀，之後外觀及內部歷經多次修繕，但其結構仍然完整，空間組織關係亦無重大改變。例如火車站月台的鋼屋架，除外牆刷塗油漆外，應為興建時之原貌。
