1895年臺澎改隸，馬關條約第五條規定：「中日兩國換文之後兩年內，台人得自由決定去留」。依清日合約，1897年5月8日為台灣住民去就決定日，離台灣而回大陸祖籍者台北縣1,574人、台中縣301人、台南縣4,500人，澎湖81人。在此人心不安之際，南澳館所奉祀之天上聖母，也因避兵時請回故里，部分南澳人也可能跟著返回家鄉。留住在澎湖的南澳人士，城內各伙房居住者及為商者約有四十餘人。於外鄉居住者，約有十餘人，分掌各伙房之事，合計約60人。清末，南澳館因官方興建澎湖城而被迫拆遷，導致勢力下滑。照片為現今的南澳館，建築多處毀損，只殘餘一角斷垣殘壁。