鯉魚山位於臺東市中心，交通便利，山上不但風光明媚、林木蓊鬱，只要細心觀察，發現有不少歷史古蹟及紀念碑等人文景觀散佈其中，供人憑弔。胡鐵花紀念碑矗立於登山步道旁鯉魚亭下方。胡鐵花（胡傳，1841~1895） 安徽績溪上莊人，十六歲前於家塾受教，其後遠赴上海求學，先後通過多次的鄉縣試而進入仕途。光緒18年（1892） 胡鐵花奉旨調來臺灣，接印上任為臺東直隸州知州（即現今縣長） ，為該地方第八任州官。上任後積極助農開墾、編制戶口、廣設學堂、訂立賦稅、整頓軍紀、掃除鴉片、安頓民生、關懷山胞（原住民）等，奠定今日臺東市繁榮進步之基礎，可謂政績顯著。固此除了於鯉魚山立碑紀念外，臺東市鐵花路也因其而命名。胡鐵花幼子胡適博士曾任中央研究院院長，於胡鐵花逝世57週年時，胡適親臨臺東，緬懷其父親當年在此的生活點滴。