民國30年生，福建晉江人。「五十公司」成員紀華義之子，紀銀河之堂姪。汐止中學畢業後，擔任國小教師。年20，因父親過世，在姻親蔡火炮（大同通運公司董事長、基隆市議會前議長）的建議下進入基隆港碼頭，當基本工人。民國53年，港務局成立員工訓練所碼頭訓練班，紀榮祥是第一屆的訓練生。

因能通國語，棧埠處長曹開諫（第二任基隆港務局長）聘為翻譯，成為港務局與碼頭工人之間溝通的橋樑。民國55年，透過甄選成為第七隊第三班班長。民國61年通過考試升為大隊長，民國88年因基隆港碼頭裝卸工作民營化，以第一隊大隊長職退休。期間擔任碼頭工會第十六屆、第十七屆理事長及第十一屆市議員。

抗日戰爭時，國民政府設有「工資調解戶」，抽取部份碼頭工人的工資，來補貼不能碼頭工人不能出工時的生活。來臺後，交通部將「工資調解戶」設在臺灣銀行無息專戶，由港務局與碼頭工會共管。紀榮祥擔任碼頭工會理事長期間，認為「工資調解戶」設在一般民營銀行可以收取利息，極力向交通處爭取，將「工資調解戶」改為碼頭工會名下，所收的利息成為碼頭工會的福利金。