位於天后宮西側之陰陽堂，又稱顯靈廟或有應公廟，主祀陰陽公與白衣吉者。據《馬公市各里人文鄉土叢書》指出其確切建廟時間不詳，也未見載於澎湖清代方志的紀錄之中，唯根據廟中明治40年（1907）的重建落成碑記之碑文推測，約莫建於清道光年間（1821-1850）；最初是建於文澳的澎湖海防糧捕廳署旁。而在《媽宮的寺廟：馬公市鎮發展與民間宗教變遷之研究》亦提及清法戰爭之後，澎湖鎮總兵官吳宏洛在清光緒15年（1889）將澎湖廳署遷至澎湖天后宮西側，陰陽堂亦於此時一併遷祀廳署南隅。陰陽堂曾於民國58年（1969）及民國83年（1994）整修，民國102年（2013）重建入火落成，雖廟坪不大，香火卻十分興旺。
廟內有「有求必應」一匾，中款為「有求必應」四字，上款「祝馬公陰陽堂修建落成入火誌慶」，下款「台廈郊水仙宮管理委員會敬贈 中華民國一○二年十二月吉旦」。
