小門之名，以丁字門稱者，以其外型如丁字。以小門稱之者，有認為最初只有五、六戶人家，門戶稀少故曰小門；有以通道位於兩座小山丘之間，其形如門而得名。然而，17世紀末，小門地區毫無人煙魚寮，以門戶稀少或位於兩山之間進出的通道而得名，過於牽強。門者：陸路、水路的重要通道，例如鹿耳門。小門嶼與漁翁島之間隔著一條水道，未有人烟、卻是重要的戍防之地，形勢險要，故以此小水道而名之為小門。至於Richard Collinson將小門名之為三角島，是否就是因為三角石之故，留給我們諸多想像的空間。