富世村最著名的史前文化富世遺址，原稱「太魯閣遺址」，位於立霧溪口河階地，已被列入重要的史前考古紀錄。富世遺址像一輪彎月的地形，長約300公尺，寬約30～50公尺。富世遺址背山面海，形勢陡峭，南緣為新城山南麓的陡峭岩壁，北邊是立霧溪出海口，東北邊面向太平洋，西邊是太魯閣口。民國73年考古學者在立霧溪流域發現遺址。河階地上有幾處石頭堆積成塔狀，其中有一塊石柱，頂部有一段很明顯的打磨痕跡，它的形狀很像是台灣東部「巨石文化」中的「單石」。 經過仔細挖掘及調查發現好幾塊仍豎立在地表上，僅露出部分頭部的單石有85塊之多。同時考古學者也發現幾處「屈肢葬」的石棺，及繼史前人類之後到此生活的先民所使用的陶器碎片。當時這處遺址被視為考古界的處女地。