虞會璋為勝利商號負責人虞際唐的兒子，在雲南省博尚鎮出生，父母親曾擔任學校的教職，是地方的中產階級、知識分子。虞會璋在5歲時父親為躲避共產黨的階級批鬥、清算而離家，與手足分散生活，幼兒到少年時期與母親彭學古被迫加入人民公社，在某次機會下與彭學古逃離管束的生活，開始在滇緬邊境逃亡求生。

虞會璋幼兒時期父親尚未離家，虞際唐喜歡帶著他出門，他印象有一次父親帶著他到鄰居家去，趁他睡著時到對面去打麻將，醒來的虞會璋連滾帶爬的哭找父親，還摔破了頭，回家時父親被母親彭學古數落了一番。父親有時也帶著他和隨從到附近的河邊釣魚，年幼的虞會璋被放在父親的肩膀上，還記得看到活跳跳的魚相當開心。

此圖為民國56年虞會璋(後站者)與虞際唐在花蓮的大全村老鄉家中合照，虞會璋後來到臺灣再見到父親，父親因為身體狀況不佳，消瘦的身形已無過去意氣風發的模樣。