水里的「五色人」並非是有五種膚色的人，而是指「移居」的地景，當地人透過「五色人」的代稱來呈現人口組成的特殊性，因此又稱為「五路人」，亦即五路人馬，從各個地方來的人。
1950至1970年代是臺灣林業進入伐木興盛的時期，水里坑因地處中央山脈森林資源的入口處，造就水里外銷木材的黃金時代，當時湧進了大批來自林木盛產地區如宜蘭羅東、臺中東勢、嘉義阿里山等地，以林業相關維生的技術人員，從伐木技術工、從業員、貨車司機、小工，到標售木材商人等皆匯集於水裡坑。當時與木業相關的木材行共計有80家、製材工廠計有18家，出入水裡坑的貨車高達200多輛，提供流動人口住宿的旅社計有30、40家，創造水里鄉的熱鬧繁華。
1975年至1982年之間丹大林區暫停開放，1988年興起的社會運動成功開啟臺灣原始林全面禁伐的保育政策，而臺灣也從大量伐木轉為進口木材。隨著伐木業的沒落，當年來自全臺各地的技術人員，仍有不少人留在水裡坑落地生根並開枝散葉，構成今日水里鄉的人口特性，尤其從口音細聽分析之下，發現有著許多的差異性，「五色人」可說是水里鄉的重要特色之一。
