李樂軍所屬之合流工程處第二總隊，原來隊部在太魯閣峽口之外，隨著工程往上推展，包括他的醫務所也不斷遷移，從入山後最早的滴水崖、洛韶、復興山直到古白楊（古白楊路線因坍方現已改道）。

由於合流工程處所負責的路段鮮少有平地可供人員住宿或設置辦公地點，因此隨工程進度擇地而居是唯一選擇，李樂軍表示半隧道不足兩公尺寬，為了住人、辦公，必須再往內部挖隧道。睡覺時每個人配發三塊木板墊在地下，尾端還得留下一點通道，而他比一般人再多三塊木板，用來設置臨時醫務所，在滴水崖他曾遇到蔣經國巡視，蔣經國鼓勵他多讀書，日後在復興山、洛韶他均曾於蔣經國相處。

除了地震之外，在中橫興建期間他印象最深的還有颱風，1958年(民國47年)溫妮颱風、1959年(民國48年度溫妮絲颱風來襲，都對工程與設施造成很大的損害，居住於洛韶期間，人員為了避風躲在圓形的補給品儲藏室中，才能避開傷亡；往高處施工因為地處偏遠補給困難，施工人員只能吃臭掉的肉，送上來的蔬菜也早成乾菜，因此必須學習採集野菜進食。參與中橫工程的榮民，有些隨著榮民工程處成立後，會離開中橫前往其他地點，但也有人在工程結束後留在中橫沿線，娶當地原住民女姓為妻，有的開墾農場，有的轉而替公路局服務。