胡傳40歲以後宦遊在四方，與妻兒聚少離多，曾感嘆「一家八口，漂泊三處」。到臺東任知州經過半年，才將家眷從臺南接來，同住了一年又18天，享受短暫而難得的團圓之樂。在臺東的親眷，有胡傳的妻子馮順弟、次子、三子、老么胡適，以及四弟胡介如、族兄胡宣鐸。由胡宣鐸擔任老師，教他的兒子們讀書，侄子胡朗山為幕僚，年輕體壯的胡景全為書童，在官邸伺候他的茶煙，跟著馬夫，步趨左右，照顧他的生活。另外，還有女僕、老媽子等，總共11人。在臺東擔任知州二年，生活算是比較安定，光緒19年舊曆12月14日（1894/1/20）日記云：「內子及子姪輩偕朗山姪、漢生弟並領餉差弁到署。」當時，胡適剛滿二足歲又一個月。