吳金玉，屏東六堆的客家人，其祖父吳嘉傳始居今屏東萬巒鄉五清村。明治29年（1896），吳金玉生於臺東街。明治35年（1902），入臺東公學校，任教老師金田龍太郎對其照顧有加，畢業後，因家貧放棄升學。

大正6年（1917），經恩師金田龍太郎介紹，入臺灣倉庫會社基隆分店任雇員， 大正9年（1920）升任書記。次年，返回臺東與當地資產家陳妙哉之女結婚，先後擔任臺東廳農會雇員、卑南及都蘭區書記、農會書記，公餘之暇，耕讀自娛。36歲時，辭去農會職務，專心務農。

二次戰後，民國34年（1945）12月接獲政府派令，代理臺東鎮鎮長。次年底任滿後，先後出任臺東稅捐處代處長、臺東縣黨部書記長、臺東縣農會理事長。

民國39年（1950）吳金玉當選第一屆臺東縣議員，並當選議長。民國41年（1952）因縣長陳振宗病逝，透過補選就任臺東縣長。民國43年（1954），當選連任。在任5年3個月期間，主要政績包括：闢建伽路蘭漁港、修築東成公路、興建鹿野鄉豐源圳、推廣鳳梨種植、成立新港漁會運銷部等。

民國46年（1957）交卸縣長職務後，奉派出任臺灣省倉庫股份有限公司董事長。民國60年（1971），當選臺東區合會儲蓄公司董事長。民國61年（1972）7月，77歲退休。民國78年（1989）以94歲高齡辭世。