清水寺創建於清康熙年間，據謝金鑾《續修臺灣縣志》：「清水寺：在東安坊。康熙間建，乾隆五十六年，里人陳遜輝等修。」日大正4年（1915）趙源澄、民國35年（1946）林水定均曾發起重修，民國100年（2011）重修落成今堂皇廟貌。清水寺原主祀清水祖師，寺旁為溝仔底，相傳清乾隆年間某次大雨後，溝仔底漂來一尊觀世音神像，遂改主祀觀音佛祖，清水祖師成為同祀神佛。

清水寺街因清水寺而得名，係沿溝仔底而形成的街道聚落；街道範圍以清水寺為中心向四方延伸，主要的舊街道有油行尾街及清水寺街。溝仔底（又稱枋溪，現已淤積改成地下暗渠）為德慶溪的重要支流，源自東門圓環附近，向北流經清水寺前方，再經太平境教會、吳園藝文中心，在今公園路與民族交叉處注入德慶溪。銀同祖廟與吳園藝文中心間的溪段稱溝仔底，沿溪兩側的地方統稱溝仔底。

清水寺的觀世音神像，相傳是當年流水所漂來者，該佛像及寺廟遂俗稱「水流觀音」，清水寺街也稱「水流觀音街」。

日治時期經由道路計畫成為直通圓環的街道，此時許多商業行為紛紛興起，成為一處繁榮的住商區，使街道的繁華在此刻達到巔峰狀態。大正公園圓環開通前，南北向街道較東西向熱鬧，圓環開通後東西向街道直通圓環道路，帶動街道的許多商家與商業行為，成為一處繁榮的庶民住商區。

清水寺前左右兩邊有兩棵百年榕樹，每成為人潮香客聚集處，老樹已被臺南市政府列為珍貴的自然資源。寺前榕樹下還有一口古井，據說某年府城鬧瘟疫，信眾湧入清水寺跪求清水祖師顯靈救助，清水祖師指示「汲井水可解」，許多人因此獲救而免除疫病之苦，所以此井有「平安井」之稱。後來自來水普及後，古井逐漸荒廢，當地住家因都市發展越來越密集，為方便通行，因此將古井封閉。民國83年（1994）曾重修井欄，並鋪上井蓋，而後就沒再使用水桶汲水，因為要打開井蓋子才能汲水，過程繁複且費人力。現在仍使用的是井邊榕樹下的水協仔(汲水幫浦)，水協仔使用起來較為方便，只要提塑膠容器便能裝使用水。廟方表示水協仔汲出的水冰涼清澈，和古井的水源相同；附近居民或外地的信眾偶爾會來取水多作為沐浴或清潔之用，每當自來水停水時，也會用井水來清洗地板。