番社嶺以劉姓為主，上(頂)社以鄭姓、劉姓、詹姓為主姓，下社以劉姓為主，而舊、新店以劉姓居多，據說劉家祖先第十二世紀劉延林先生，二百餘年前從彰化縣員林田中央移居至此食水嵙溪上游之番社嶺，開創至今，人文蔚起，英才輩出。當地有個傳說：此土地公廟，在民國五十年前是「坐北朝南」，不知何時土地廟後方做了一座墳墓，後因連續三個任內村長死亡，土地公神像不易而飛，直到一位住在番社嶺的劉曾桂英女士，從田裡工作要回家時，在食水嵙溪中看見土地公被丟在溪中用石頭給壓住，趕快抱起請回土地公廟，而後大南村洪府王爺公才托夢給村人，說明因土地廟坐向不對，土地公香爐內遭人放置狗牙的符咒，後來村民才將狗牙取出，由十二個生肖的人圍住油鍋，將狗牙用油炸過後，並且將土地公廟改建為「坐西朝東」，於民國五十七年落成，從此以後任內的村長都平安無事。