舊稅捐處座落於臺東市新生路與博愛路交叉口，興建於民國42年（1953） ，面積1400坪，為鋼筋混凝土建造，是當時臺東最大公共建築之一。建物外牆轉角處使用大量空心花磚，遠觀猶如滿佈著點點分明的洞洞，故被稱為「洞洞館」；其與臺東舊議會、舊卑南農會及初鹿農會等，皆出自於臺東一位自學建築工作者呂阿玉之設計；牆面使用空心花磚兼具通風遮陽，非常適合處於熱帶高溫多雨的臺東；且帶有普普藝術的風格，時尚感歷久不衰。民國83年（1994） 稅捐處遷至臺東縣議會後方現址，舊址建物一度由臺東消防局特種搜救隊進駐，不久特種搜救隊也相繼搬離，舊稅捐處閒置多年。民國102年（2013） 臺東縣政府將該地公開招標，翌年準備動土興建一棟10層樓飯店，舊稅捐處面臨被拆除的命運。臺東地方文史工作者與反對拆除的民眾雖然陳情發動搶救，要求政府重視歷史建築的價值，唯3月13日舊稅捐處仍遭工作人員施工拆除。舊稅捐處改建為Gaya四星級飯店，該飯店外觀設計新穎，於外牆轉角處刻意保留著昔日洞洞館大面積的空心花磚，新與舊相互搭配下，期望能成為具有臺東特色的建築。圖為洞洞館拆除前的風貌。