日治時期，臺灣總督府為灌溉小馬武窟地區，撥款進行山壁開鑿及溝圳挖築，並於馬沙林尼山開挖山洞貫通海岸山脈，興建暗渠，昭和4年（1929）完工通水，這條灌溉小馬武窟地區約135甲農田的圳路，當時被稱為「小馬埤圳」。後來為了改善泰源地區的進出交通，於昭和7年（1932）擴大原來的暗渠，成為可以通車的隧道，其長約230公尺、寬度約3.5公尺、高度約3.75公尺。二次世界大戰時小馬隧道也兼具附近居民防空避難之用。戰後一度改名為「泰源隧道」，但因其位於成功鎮小馬，早期又被稱為「小馬埤圳」，故正名為「小馬隧道」。