1885年3月，法軍攻擊澎湖亦繪製澎湖地圖一張＜Les Pescadores＞，法軍承襲英國地圖，也稱小案山為I. Observatoire，並偵查得知小案山設有20cm中國砲一門，Armstrong式14cm旋條砲二門。10年之後的1895年3月，入侵澎湖的換成日軍，日軍在一幅題名＜澎湖嶋＞的地圖上，將小案山標示為測天嶋(島)，蓋以Observatory為觀測天文之天文台來命名。

日人占領澎湖之後，即著手規劃在澎湖設立海軍基地，最後選擇在小案山此地設立海軍軍港，小案山居民因此被迫搬遷。依據《總督府公文類纂》，搬遷地從最初規畫的火燒坪，轉變為虎井，並且在明治29年5月搬遷完畢。然而，蔡文騰先生的＜從漁港變軍港：日治時期馬公要港之形成（1895-1937）＞一文顯示，小案山居民是搬遷到今日的大案山一帶。