虞會璋為勝利商號負責人虞際唐的兒子，在雲南省博尚鎮出生，父母親曾擔任學校的教職，是地方的中產階級、知識分子。虞會璋在5歲時父親為躲避共產黨的階級批鬥而離家，幼兒到少年時期與母親彭學古加入人民公社，在某次機會下與彭學古逃離管束的生活，開始在滇緬邊境逃亡求生。於1965年在救難總會的協助下來到臺灣與父親虞際唐團聚。

虞會璋參加大學聯考，考取私立淡江文理學院歷史系(現今淡水大學)，當時私立大學每學期的註冊費是6000元，當時母親彭學古只能拿出3000元，他只能寫信給當時在泰國美斯樂碰過面的長官段希文(前滇緬邊區游擊隊副總指揮，美斯樂興華中學創辦人)，立刻電匯了一萬元補足虞會璋當時資金的缺口。此圖為當時虞會璋(照片後排右二站者)與淡江的同學們合影，他讀完一年級之後瞞著父母重新報考大學聯考，考上國立師範大學公訓系。