基隆港每一個碼頭都有一個小型的候工室，提供隊班長在此發布工作、碼頭工人等待船隻進港卸貨的時間，但擁擠不堪，衛生堪慮，遂有興建碼頭工人大廈之議。
碼頭工會大廈於民國39年開始興建，民國41年9月落成，會址在中山一路，鄰近西三倉庫，費用來自用碼頭工人薪資中預扣的福利金。落成典禮由基隆市長及美國安全分署供應主任富利共同剪彩。工會樓高四層，設有醫務室、理髮室、休息室、沐浴室、俱樂部等等福利措施，碼工們不用擠在候工室裏，等船的時候可以在那邊休息或娛樂，搬完貨也可以在那邊洗澡，不用急著在碼頭和家裡之間奔波；工會裏有識字班，碼頭工人有認字基礎後，可以報考港務局所辦理的「裝卸養成所訓練班」；另提供獎學金，鼓勵碼工的孩子讀書，栽培出不少人才。
碼頭工人大廈興建完成後，受到媒體熱烈的報導，時值簡有勇擔任第三屆理事長，故得到碼工們強烈支持，直到工會法修法後尚擔任第一屆常務理事。直到碼頭裝卸工作民營化後，碼頭工人轉任民間公司，大廈遂空置至2023年。
