自由之家古蹟群，始自1900年陸續興建、增改建、修建，時間點與空間點上符合日治時期臺北重要都市計劃與南區變化，日治初期（1895）的臺灣總督府相關部門，主要以清朝所移交的官方建築作為臨時辦公處所與官舍住宅，發展地區為沿淡水河群聚的大稻埕（城北）與艋舺（城西）一帶，城南與城東則尚處於未開發的原野之地。至1898年（明治31年）後，才於臺北城內東門街及南門街闢建成總督府的官舍區域，臺灣銀行的官舍即在此一背景下建成，並提供臺灣銀行官員使用。1945年戰後交由國防部聯合勤務總司令部作為外事招待所，接待外賓及國際友人之用；外交部使節回國亦多寄居於此，曾一度被稱為「大使之家」。在50年代臺北缺乏大型聚會及旅社，因此自由之家成為中國大陸災胞救濟總會（救總）、世界反共聯盟（世盟）固定舉辦世界反共活動的主要場所。1967年9月世盟第一屆會議在臺北舉行，共有64個國家與地區、以及12個國際反共組織參加，谷正綱當選第一屆理事會主席，大會通過了世界反共宣言與世界反共聯盟共同綱領。本建築早期也是胡適、殷海光、雷震等知識份子發行的思想開放政論雜誌《自由中國》重要集會演說地點。建築物主要色系為軍綠色外牆（#535950）。