原留越義民董延齡講述在橡膠園當地工人不好找，工資又比較貴，義民工資很便宜，所以法國人希望義民永遠留在橡膠園工作，當時政府在台灣穩定了，要接留越軍民到台灣，法國人卻告訴義民，你們政府不准你們回去，又跟中華民國政府說，義民在橡膠園很好不想回去，兩邊騙。義民不相信，希望派代表要見黃杰，法國人開鐵甲車、軍人擋住義民，義民中有些年輕人去撞鐵甲車，法國人害怕才同意代表見黃杰，才知道法國人騙人。義民離開橡膠園，男人走前面，女人小孩走後面，走上馬路後，法國人看擋不住橡膠園義民，才送他們到富國島。

    黃杰在《海外羈情　留越國軍紀實》一書中曾提到，越南鴻基煤礦和廣利橡膠園得到法國軍方支持到營區招募工人，但是應徵的人太少，威脅與利誘不能發生效果，於是由法國軍方出面，多次要求增加工人，黃杰清楚提醒法國軍方，部隊進入越南，目的是轉回台灣去，到越南作工，招募應為志願而非強迫，沒有義務為他們作工。當時應募至煤礦區作工的約兩千人，參加橡膠園作工的約一千餘人。

    從民國42年5月23日第一批船到達台灣，至6月22日第七批船的海菲號離島北航的部隊運輸回台期間，黃杰因「工人轉運」等問題，曾經三次離開富國島親自前往處理。留越義民是便宜又好用的人力，法國人想盡辦法把他們留在橡膠園裡做苦工，實在是趁人之危圖利自己。