西嶼鄉赤馬舊稱「緝馬灣」，有關「緝馬灣」一詞之由來眾說紛紜、莫衷一是。有以蒙古人在澎湖設巡檢司在澎湖養馬，待明朝派到澎湖來接管的武官吳禎，一邊派兵驅逐倭寇，一邊到處尋找蒙古馬，來到西嶼鄉南部，發現馬群，就將這個小村落取名叫做「緝馬灣」，因此一直沿襲到現在。此種說法蓋出自《澎湖地名之旅》一書，此種無稽之談、杜撰史實說法早經蔡丁進老師駁斥。陳憲明教授則從漁法的角度切入：原地名緝馬灣應該是指該地先民曾在海灣使用緝仔網捉魚的意思，所以「馬」字只是口語「緝仔」尾音的借用字而已。而緝馬灣之轉稱為赤馬村，是村名結合了住民的生活變化，取村廟之「赤」字與古地名之「馬」字，合而為赤馬村。《臺灣地名辭書 卷六澎湖縣》則以臺語發音推敲「緝仔」或「戚仔」諧音，為沿海地區之牡蠣或岩生貝類之殼的閩南語發音，「緝馬」發音與之相似，故其名稱來由，應與此亦有相關。