山下聚落舊稱「山腳」，位在舊香蘭東側靠山處，故以此名之。1930年代，因原漢衝突不斷，日本政府為了方便管理，於是將原本居住於舊香蘭聚落的阿美族人遷至偏南的新香蘭聚落，部分阿美族人在搬遷過程中反而選擇移居至池上。隨後又因池上人口過多，耕地不足，再搬回香蘭村，居住在舊香蘭聚落內鄰近山腳處，因而形成山下聚落，阿美族語為pirekesay，意為「蚊子很多的地方」。當時亦有來自馬蘭社和加路蘭社的阿美族遷居至此。過去山下聚落的居民以種植水稻為主，現今則主要種植釋迦。