日治時期，明治38年(1905)，臺南廳擇定牛磨後街、城邊街（今西門路、中正路與正興街、國華街之一帶），興建了「臺南市場」，成為臺南第一個官設公有的消費市場，即日後的「西市場」，其規模在當時堪稱全臺灣第一，買與賣之間的空間寬敞，取其「大」，人們稱之為「大菜市」。
市場主體為木造建築，8月竣工初開幕之際，在南側賣店處舉辦開場式，有戲劇表演、煙火餘興慶祝，且在西南賣店內擺席設宴。此外，經過比賽選拔，甚至還有專屬的市場徽章。
明治44 年（1911）8月27日狂風暴雨毀了木造臺南市場，隔年在原地(西門町四丁目)重新修築市場建築，採用鋼筋混凝土結構，並名為「西市場」，一直沿用至今。
西市場是一棟2樓建築，形成空間建築群，原本平面組構為L型配置，日昭和5年（1930）興建了2層樓「外廓賣店第二期」，擴充為「口」字型態的配置，並有庭院和噴水池，十分華麗。
日大正元年(1912)「漁業會社」即在西市場內辦公；日昭和10年(1935)出現「臺灣漁業株式會社」，日昭和11年(1936)則出現「臺南市青果荷受組合」，顯示西市場當時涵蓋了蔬果、魚鮮的大量批發交易的市場功能。
西市場經過二次大戰的砲火，建築物大致上完好，原民權路上密集的布行遭遇災情慘重，紛紛轉移到西市場，成為臺南布市。
確實終戰後，西市場似乎再度重振雄風，約莫民國40年代，「西市場」改名為「西門市場」。加上民國39年(1950)臺南市農會運用舊有倉庫當作青果市場，附近又有電影里、沙卡里巴…，一度相當興盛。
民國80年代海安路地下化工程一進行，重重打擊中正路商圈，同時影響西市場導致來客率銳減，讓西市場整體不敵環境窘迫，處境堪入冷清蕭條。直到民國92年(2003)，5月公告「西市場」本館及「西市場外廓專賣店第2期」為市定古蹟，加上近來地方努力復甦西市場榮景，並進行市場建築古蹟修復，將再重現西市場的美麗風華。