黃樓早年於新加坡經營貿易商行致富，民國18年（1929）返鄉西園籌備興建事宜，民國20年（1931）竣工，為西園村中唯一的洋樓建築，興建期間黃樓曾多次往返新加坡與金門。 黃樓與妻子李牽及長子黃石頭於民國26年（1937）返鄉定居。民國28年（1939）黃樓病逝，其子黃石頭返回新加坡謀生後，自此失聯，留下母親及其妻子。民國30年（1941）李牽為增添人丁，收養鄰村官澳人楊忠速次女。 民國38年（1949）建築被國軍佔用做為營指揮所，並將可利用大門及房門板全數拆除做為構築碉堡建材，此外，民國47年（1958）為躲避砲火，國軍於建物內部挖設防空洞。民國75年（1986）國軍歸還洋樓後，建物毀損情形嚴重。民國94年（2005）完成整體性修復。