原留越義民董延齡講述橡膠園義民到富國島船上，下船前差點發生暴動，因為押船士兵要他們清理船艙，大家急著下船沒有人理他，押船的黑人士兵用刺槍刺義民臉、耳朵、手臂刺穿流血，有人喊：法國人打人、殺人了，大家看流很多血就躁動，有兩個人出來說：大家不要動了，不要動，動久了船會翻了，不要動了，不要喊了，我們快到富國島了，大家才慢慢安定下來。

    由於越南煤礦及橡膠園規模宏大，產量豐富，在經濟上是法國海外重要資產，企業對於法國派駐越南的軍政首長具有相當影響力，因此留越期間，看到這一大批勞力可用，遂透過法國軍方不斷替北越鴻基煤礦及南越各地橡膠園徵募苦工，但難民們在煤礦、橡膠園做苦工的生活並未被善待，就連準備來台前的押船士兵都能隨意用刺刀傷人，即可見其處境。

    留越期間，煤礦、茶園、橡膠園等各工區不斷發生糾紛，黃杰多次應法方要求，親自前往處理。黃杰曾在《海外羈情　留越國軍紀實》一書中提到，民國41年6月1日已接到國防部電報，政府已設立留越國軍處理小組，處理留越國軍各項請求及交涉遣返台灣問題，在42年元月接到散佈於越棉寮各工區的工人，連續發生糾紛，在法方要求下黃杰答應親自前往處理，於是奔馳於各地。這一次，他對於工區的勞資糾紛解決較以前有把握，在當時法方在黃杰催請下，已經商得越南總理阮文心的同意，凡是戰爭關係被迫入越的中國難民，如取得當地中華會館的擔保，可以發給華僑身分證，而且，也獲得國防部同意，脫離軍籍的做工人員可隨同回台，黃杰也將訊息告知各工區工人。此次，黃杰進行近一個月的工區巡視，巡遍煤礦、茶園及橡膠園等越南、高棉工區。