張劍輝1930年出生於江西九江，國共內戰跟隨復旦中學自江西南進廣州，1949年於廣州考取憲兵後跟隨國民政府部隊轉進臺灣。1951年進入憲兵司令部幹部訓練班受訓，完訓後分發至高雄憲兵隊情報科服役。

於憲兵單位服役期間，曾任職於屏東憲兵隊、憲兵司令部情報處、基隆花蓮臺北等地區憲兵調查組，各個地區的憲兵調查組平時即會蒐集社會上各種輿情，並上報至憲兵司令部情報處。1979年任桃園憲兵調查組中校組長，並於1984年臺北憲兵調查組上校組長任內退伍。