高利吉出生於民國40年（1951），父親從恆春牡丹的八瑤灣沿著海邊走路來到臺東利吉，而母親來自車城。因出生於利吉，故取名高利吉。2歲時因利吉火燒庄，隨父母遷至瑞和，之後又到瑞興部落定居。父母親皆為天主教徒，曾隨葛德神父到瑞和開墾。年輕時做過各種工作，包括工廠師傅，砂石車司機、遠洋船員、菜販……等，也曾擔任瑞興部落頭目，任職期間爭取興建瑞興部落集會所。高利吉就讀的瑞豐國小棒球風氣很盛，因此對棒球也很有興趣，並參加棒球裁判研習，成為臺東級裁判兼球探，其次子高健龍在職棒界以「飛龍拳」出名，三子高國慶為全壘打王。圖為高利吉50歲當瑞興部落頭目時攝。