位於臺西鄉五港村五條港「安西府」今昔外觀相差甚多。而這也不過20年光陰罷了。其中佇立廟前高聳旗杆，地方傳聞是「神祇化身購買，爾後信眾海豐港外拾得，上書張李莫府千歲。」目前安西府前有兩支高聳旗杆，但在安西府尚未增建前庭之前，當時僅有一旗座和一支旗桿。

最初旗座與旗杆屬於清代汛防駐紮之用。《福建通志臺灣府》錄自《重纂福建通志卷八十六》彰化縣《海防篇》「各縣衝要」，隸屬「水師協標左營」巡防鹿仔港，因應泉州蚶江對渡，清楚記載「有五條港與嘉義接界。」反映當時港汊所在位居虎尾溪口。道光20年（1840）《彰化縣志》〈兵防志〉的〈營汛篇〉記載水師兵制更清楚提及三林港、海豐港、番仔挖港、宗元港等四處汛防。其中針對「海豐港已嚴重淤塞，建議將兵防移駐宗元港，和番仔挖港互為犄角。」且指出汛防所在「各建礮臺一座，烟墩三座，望樓一座，牌坊一座，旗杆一桿。」

雖然該座旗杆後來遭到延伸新建前庭所包覆，重新上漆，而古味盡失。不過，卻不難從當年的照片想像當年盛極一時的港口商貿繁盛的盛況。