偕行社為日本陸軍將校所組成的組織，主要目的在於共同修養、鑽研兵學、團結士氣及親睦聯誼，1877年（明治十年）2月15日，3000名左右的陸軍將校，在東京九段（現今千代田區的地名）設置集會所創立。 時值西南戰爭前夕，維新政府的政權不穩，自由民權運動風行，產生結社活動，性質多元。而維新政府在1876年（明治九年）3月21日海軍成立水交社，陸軍約一年後成立偕行社，於1889年（明治二十二年）將其他陸軍將校自行組織的月曜會、砲工協同會等團體，其進行的學術研究、翻譯西洋書籍、或刊行自己編纂書籍等，整合進偕行社裡，進而擴張成為研究兵學的組織。各地的偕行社除了具備住宿機能外，也販售軍備品(制服、軍刀、槍枝等)，設有義濟會作為互助組合，甚至經營附屬中學校與小學校。 日治時期臺灣曾經存在的偕行社至少有 9處，其中「原日本陸軍臺南偕行社」成立於1899年（明治三十二年）6月10日，曾設立於2個地點，永福路二段152巷的原下大埕街的憲兵本部，及於1915年（大正四年）12月25日落成，今日的公園南路21號這座建築。公園南路此區域從清領開始，作為府城暨臺灣地區的軍事中心長達二百餘年，日治初期才改由日軍進駐，亦鄰近臺南車站，同時為日人都市開發的新地段，鄰近臺南公園、福隆宮，具地利之便。 二戰前，偕行社的會長都是由陸軍大臣兼任，支部的設立分甲乙兩種，臺南偕行社屬在其他各衛戌地或者所需的駐屯地的「乙支部」。一般將偕行社視為陸軍軍官俱樂部，實際上偕行社受陸軍省管轄，具備實質軍事機能。 2005年（民國九十四年）偕行社的居民遷出後，國防部原預定拆除建物出售土地，經在地居民搶救，2007年（民國九十六年）9月11日，臺南市政府公告「原臺南陸軍偕行社」為歷史建築。