鹿港聚英社南樂團於1945年（民國34年）後，由於社會及環境因素而數次遷徙館閣，又因館員們各自工作和謀生，聚英社一度陷入蕭條。直至1967年（民國56年）館閣移至鹿港鎮金門巷81號的一級古蹟龍山寺左、右側龍門內小廂房，至今未再遷移過。

1960年代為鹿港聚英社南樂團最為蕭條的時期，成員僅剩10人左右。聚英社成員有鑒於臺灣南管曲館凋零，故興起舉辦南管大會的念頭，邀請臺灣各地絃友前來交流。由於舉辦南管大會，聚英社名氣大開，漸漸吸引成員進入聚英社研習南管。1980年代的成員為施永川夫婦、郭應護、王萬成、林德其、施瑞樓、洪敏能、陳金燕、許金塗（耀升）等人。