在左營舊城的城隍廟附近，也保存了一棟三合院的磚石建築，建築附近巷頭巷尾居住的居民全都姓謝，這裡是謝姓族人聚集生活的地方，謝家古厝。謝家，根據當地的說法，相傳是大約二百多年前從福建來到臺灣從事豆腐生意，後來選擇定居在左營蓮池潭畔的現在謝家古厝。而在清朝乾隆時期，謝家子弟中的謝元晉，因為就學成績優異，獲選進入國子監就讀，成為當時的歲貢生，因此謝家的門匾也就有了由乾隆時期所頒發的官匾「選魁」。
清代的左營舊城，因為政策的關係不能築城牆抵禦盜匪侵略，因此居住在城內的各家族都會想盡辦法集結聚集人手，共同合作防盜或是抵抗外來入侵勢力，為了求生存，家族之間的連結非常堅固。一直到現在，謝家人的凝聚力仍然很強，在左營也有許多勢力，甚至能夠影響選舉的動向。