虞會璋為勝利商號負責人虞際唐的兒子，在雲南省博尚鎮出生，父母親曾擔任學校的教職，是地方的中產階級、知識分子。虞會璋在5歲時父親為躲避共產黨的階級批鬥而離家，幼兒到少年時期與母親彭學古加入人民公社，在某次機會下與彭學古逃離管束的生活，開始在滇緬邊境逃亡求生。於1965年在救難總會的協助下來到臺灣與父親虞際唐團聚。

虞會璋在私立淡江文理學院歷史系讀了兩個學期之後，因私立大學的學費難以負荷，於是瞞著父母再度報考大學聯考，考完他提著行李回家，母親彭學古擔心詢問是否被學校趕出來，待放榜那天父母親得知虞會璋考取臺灣師範大學公訓系時才放下心中的石頭。當時師範生除了日後的就業保證，還領有公費，學雜費全免另外補助冬夏兩季西裝制服，此圖為虞會璋(圖中左三)身著師範大學的西裝制服與同學外出見習。