四維村舊名西尾，因位於南竿島西邊得名。早期可分為5處聚落，分別是芙蓉澳、西尾、夫人村、五間排與秋桂樓。夫人村位於四維村的最東端，鼎盛時期有30多戶居民，分別是陳氏、琅岐葉氏、林氏、劉氏家族等，多數村民以漁農維生。

1970年代因中共宣傳彈砲擊頻繁，加上臺灣輕工業需求增加，夫人村多數住戶舉家遷往臺灣，長住戶不足5戶；其中葉氏家族為少數村內還有人留在南竿島上發展的家戶。近年隨著夫人咖啡館知名度遽增，亦有少數村民遷回夫人村居住。