香雨書院位於臺南將軍的鄉間，須得從外圍主要道路轉入，經過兩旁都是田地的小徑，不久即抵達。香雨書院雖然位處偏遠，但四周被綠色的稻田包圍，白色二樓建築矗立於田間，落莫而別有韻緻。
香雨書院創辦人林金悔，當年憑著一股對家鄉的熱烈情感，以退休金再對外募款，在荒地中闢建了香雨書院， 2005年捐贈給臺南大學，目前是臺南大學附屬的兩家博物館其中之一 ，另一家為柏陽文物館。

香雨之名，來自林金悔的父親早年經營的一家雜貨店「香雨行」，飲水思源、  思親之意濃郁。書院為二層樓的建築，室內每個樓層各有一個展示廳。一樓「來施廳」，是捐款人牛頭牌沙茶醬負責人父親之名，二樓「戴竹廳」則為另位捐款人康那香集團董事長戴榮吉之父。頂樓則是一傾斜的開放平臺，狀似一艘船的船頭，登頂可以觀賞鹽鄉的夕照，也是觀星族的追星秘境。