自中國大陸撤退時，劉世良便一路擔任石覺中將的駕駛兵，石覺中將曾擔任浙江省主席，並擔負防守舟山群島的大任，後又負責轉移十餘萬舟山部隊至臺灣，並又曾任北部防守區司令、南部防守區司令、金門防衛司令部司令官，後升任陸軍二級上將。由於石覺中將住在位於東門國小附近的杭州南路上，因此石覺中將到哪，劉世良就要載送到哪，石覺中將時常到陽明山上開會，劉世良則在那裡待命，結束後將其載回住處。後來石覺中將被調往高雄擔任第二軍團司令後，劉世良輾轉到胡璉將軍身旁擔任駕駛兵，令他印象深刻的事是雖然是駕駛兵，載的卻是大官，因此一路上都是綠燈，沒有紅燈，通暢無阻，一會兒就到達目的地。