最初武德殿作為警察系統的一部分，其歷史根源可追朔於日治時期。 日本佔領臺灣後，曾以軍事手段鎮壓抗日武裝，直到1897年（明治三十年）第三任總督乃木希典總督改為民政，實施「三段警備制度」。然而在1898年（明治三十一年），兒玉源太郎出任臺灣總督後，廢除了三段警備制度，並建立了殖民地的警察制度，將保甲制度納入警察輔助機構，成為總督府統治臺灣的基層機構。 在警察制度的基礎上，武德會作為警察系統的一部分，在臺灣展開。1906年（明治三十九年），大日本武德會臺灣支部成立，並開始在各地興建武德殿。這些武德殿成為警察練習武術和舉辦演武大會的場所。 當時台南武德殿新址定於臺南孔子廟西側的海東書院，除作為平時的武道練習及特定武道比試外，也是各項集訓及講習的場所，既是運動競技的場所，也是學員修身養性、鍛鍊人格的場所。 1945年（民國三十四年）二戰後，武德會在臺灣的組織也隨之瓦解。台南武德殿也脫離警察系統，而成為學校教育機構。先為臺南市立中學的校址，1953年（民國四十二年）八月忠義國小遷移到現址後，武德殿成為該校禮堂迄今。