在荷蘭東印度公司紀錄中在今鄰近龜山一帶有個名為sinaney的小部落，可在今日龜山的奶奶崎此一地名及清代早期方圖如「澎湖台灣紀略」與康熙35年(1696年)的「台灣府志」中記載得知。雍正10年(1732年)龜崙社人因酒醉而殺傷漢人，焚燒桃仔園庄、新庄的民房，清廷派尹士俍調兵討伐，部落於同年底投降，族人老幼共計140名，尹士俍在台灣志略中提及：「龜崙社(又名奇崙，有遠年內山番出居搭樓溪，即呼搭樓番，附居此社內，無另社名」龜崙社番性強悍，經剪伐後，壯番寥寥，歸於霄裏同居」。而在乾隆53年(1788年)的「養贍埔地清冊」可得知龜崙社是桃園地區最大的部落，如此不合理的人口成長與尹士俍敘述的壯番寥寥相抵觸，此說明了清代龜崙社共有兩群人，一為原來奶奶社的居民，二為來自內山的搭樓番的移民，內山一詞於清代對大漢溪以東的山區指稱，與番俗六考中對龜崙社狀如生番的描述，再加上後代龜山永姓族人的口述歷史，稱他們八代前才從竹頭角(石門水庫西南)遷至龜山，因而可得知龜崙社和泰雅族兩者有著很大關係。