昭和10（1935）年4月21日，新竹州南部與臺中州北部發生一場芮氏規模7.1的大地震，震源深度僅僅5公里，造成臺灣重大災情，這場地震被稱為「新竹臺中地震」，又因為震央在三叉河（今三義鄉）的關刀山，也被稱為「關刀山大地震」。同樣位於三義的舊山線首當其衝，鐵道被震得柔腸寸斷，沿途經過的車站、橋樑和隧道多處坍塌，經過三年整修才以全新面貌重新通車。

泰安車站原為木造建築，此次遭受地震摧殘而異地重建。魚藤坪橋橋拱被震垮，在下游80公尺處另闢新址建橋，1938年新橋竣工後，殘缺的紅磚原橋保留下來，成為當地另類的震災紀念景點。內社川橋的橋墩因地震位移、影響結構，新橋在舊橋之間新建，最後新舊交替拆除了舊橋的橋墩與鋼板。舊山線途經的9座隧道多為紅磚砌成，然而在地震中嚴重破損，往後改為混凝土以增強結構，只有一號隧道的北口仍然保留最完整的紅磚隧道。隧道中又以8號隧道處於地質最脆弱的地段，北口塌陷，是舊山線受損最嚴重的隧道。