小港漁港尚未興建前，該地最早稱為「蟳廣澳」，其名由來為小港漁港尚未興建時，該地為一座橢圓形珊瑚礁的天然港灣，形狀如像螃蟹的左右兩支箝子相接圍成的海灣而得名。當時「蟳廣澳」有優良的港灣地形，因此該地甚早即有船舶停靠以及文化交流。清朝時期，清兵曾駐在此地，由於駐在此地的清兵都來自於中國的廣東地區而將「蟳廣澳」改稱為「成廣澳」。臺灣自馬關條約後割讓給日本，昭和12年（1937）駐紮於此地的日本人將「成廣澳」改名為「小湊」。民國34年（1945）中華民國接管臺灣後，原日本人所稱的「小湊」再改稱為「小港」，並以此名稱沿用至今。