總圖書館的建築計劃自1956年臺灣省立工學院升格改制為臺灣省立成功大學時即開始，由王濟昌、吳梅興設計，傅立爾(W.I.Freel)普渡大學顧問教授簽證，1957年動工，主體工程於1958年12月已大致完成，1959年4月進行落成典禮。當時興建完成的總圖書館書庫部分計有5層，其他部分則為3層，設有普通閱覽室、專科閱覽室、研究室、電化教育室、錄音室等空間。 2001年成功大學新總圖書館落成後，本棟書庫部分仍持續作為藏書空間使用，原閱覽室空間轉作為學生自修空間，俗稱K館（K書中心）。現已不做K書中心使用，未來將作為藝術中心。