1930年(昭和5年)台灣總督府為籌備「台灣文化三百年紀念會」，將原先熱蘭遮城殘蹟搭建平台上面四周海關官舍全部拆除，平台上原海關長官宿舍改建為洋房以作為展覽及招待所，即圖照中人物背後上方的建築物。同時為了紀念1628年濱田彌兵衛來台灣與荷蘭人發生貿易衝突的事件，在洋房前的門柱上立木牌書寫「柏原太郎左衛門濱田彌兵衛記念之址」。圖中三人即是來安平參觀台灣文化三百年紀念會活動的人員。

1940年(昭和5年)居住在安平的日本人，為紀念這一件三百年前在這裡發展的外交事件，決定在荷蘭城殘蹟的平台上立石碑，正面寫著「贈從五位濱田彌兵衛武勇之趾」，背面則書寫興建源由。紀念碑於隔年完工，並舉辦盛大的紀念會，戰後日人撤離，台南市官派市長卓高煊，將其上的字磨掉，改刻「安平古堡」。