相傳小馬武窟社是在約道光10年（1830年），從大馬武窟社移來的阿美族人所組成，清政府視其為大馬武窟社的分社，故稱為小馬武窟社，阿美族人曾稱為Piyoyo，意義不明。根據安倍明義的調查，小馬武窟社的阿美語原稱為Tsuratsutsuratsu，因該社有泉水，族人清晨汲水，從葉端滴下的露水打在泉上發出似此聲。
昭和12年（1937），日人將小馬武窟社簡化為「小馬」，沿用至今。小馬武窟社最早位在舊東河橋南岸上方Papalaan，後來再遷到Telappa。日治時代再遷到Kalolangan，今小馬圳附近，日人曾在此地建立樟樹苗圃供應泰源盆地造林。後因修築小馬圳，部落再遷到Toakan。戰後初期因部落後方山壁土石鬆動，故在民國40年（1951）開始往臺11省道兩旁遷移，形成現在部落。
本文字摘錄自2009年國立臺東生活美學館出版之《日出臺東-東海岸文化景觀》，主編為趙川明、林韻梅。透過實地勘查與座談，凝聚共識，呈現東海岸文化地景以及人民與土地歷史的連結，突出在地珍貴特性。本書考證詳實，因此取用推廣時請尊重原創者文字本意。