吳芋萱於民國32年在苗栗出生，因生母重男輕女，出生第二天就被賣到新竹新埔，將賣掉她的三萬六，用來買奶粉給沒有奶水吃的哥哥。在吳芋萱3歲時，養父就帶她來永興村，後來生父母家也搬到花蓮，住在稻香村。當時年僅10多歲的芋萱就到處做水泥工、甘蔗工、花生工，也幫人家煮飯帶孩子等等，其中，講起她做來得心應手的菸仔工，吳芋萱便顯得興致勃勃，她提到，自己16歲時就很會「捲菸」了。吳芋萱因為年輕時候到處打工的經歷，造就她勤奮耐勞的性格。