1897年（明治30年）臺灣總督府衛生顧問技師巴爾登（W.K.Burton）與其學生兼助手濱野彌四郎進行臺南地區的水源、水質的調查，1911年（明治44年）於第27回帝國會議提出興建臺南水道的建議案，1912年（大正元年）提出興建水道預算案，經第28回帝國會議通過，總預算263萬圓，1912年（大正元年）臺南水道興建，1913年（大正2年）因受到官制的改正與第一次世界大戰等等因素的影響，工期延長~1918年（大正7年）因新化街設置糖業試驗所，為分水供應新化街與試驗所，新化街分水工程開工，1919年（大正8年）竣工，臺南水道1922年（大正11年）竣工，1924年（大正13年）安平地區申請配水，1925年（大正14年）安平分水工程開工，同年竣工，臺南水道給水包括臺南市與安平，1936年（昭和11年）永康分水工程開工，同年竣工，1938年（昭和13年）臺南機場分水工程開工，同年竣工，二戰後1949年（民國38年）臺南水道更名為「臺南市自來水管理處」，簡稱「臺南水廠」；水源地區域則更名為「山上淨水廠」。1963年（民國52年）擴建山上淨水廠，1965年（民國54年）籌畫潭頂淨水廠，1973年（民國62年）潭頂淨水廠工程進行，潭頂淨水廠完工之後，山上淨水廠部分功能即移轉至潭頂水廠，部分空間停止使用。1989年（民國78年）於山上淨水廠曾文溪處設玉峰攔河堰取水計畫，1994年（民國83年）山上淨水廠整修，進行濾過器室整修等工程，1995年（民國84年）山上淨水廠整修，進行送出唧筒室整修等工程，2002年（民國91年）原臺南縣政府公告指定為縣定古蹟，2005年（民國94年）文建會公告指定升格為國定古蹟。 經公告為國定古蹟後，文建會等決斥資五千萬元展開第一階段修復計畫，希望這創建於日治時代的現代化自來水設施，重現風華。