富世岡神社位於今日國軍花蓮總醫院陸軍805醫院太魯閣門診中心後方山麓一帶，原本在醫院後方平臺見有一處石藝展銷中心─東椰館，民國102年(2013)因土地問題，遭到花蓮縣政府拆除，目前該處已不見昔日風華。而在東椰館舊址西側一帶，沿著爬坡往山坡前進，這就是富世岡祠的範圍一帶。原本應該是水泥砌成的階梯，戰後因無人管理加上多次的風災，從山上沖刷下來的土石流也覆蓋了這些原本的水泥階梯。
在登山口旁可見一座防空壕遺跡，而原本水泥參拜階梯也隨著歷年的大雨沖刷而遭泥土所覆蓋，越往山頂前進，可見到兩座已毀壞的石燈籠底座、笠與寶珠，以及鳥居的殘跡。這些昔日莊嚴的鳥居、石燈籠被破壞殆盡，僅剩神社本殿基臺尚完整，而在神社正殿右邊有一條小路，可通往太魯閣族基督教信仰的聖地—臺灣基督長老教會姬望（Ciwang，芝宛）紀念教會。
戰後，位於今國軍805醫院太魯閣門診中心一帶，原為神社參拜道入口，仍留有一鳥居。富世岡神社曾建有三座鳥居，神社一帶荒廢好一段時間，民國97年(2008)部落在富世村發展協會的推廣下，開始發展村落觀光，在時任發展協會理事長洛帝‧尤道的發起下，協會成員曾於民國97年(2008)11 月中進行了一次大規模的整理，使得神社面貌得以呈現。目前則因土地產權問題，神社本殿及部分參道被劃在鐵線網之外。