A Megyeháza belső udvarán 1945-ben ókeresztény sírkápolna alapfalait ásták ki. Az 1061 körül I. Béla király által alapított bencés apátság feltárt és konzervált maradványai szinte a magyar államiság kezdeteitől idézik a hely történelmét.
Az eredeti épület alapja a romok tanúsága szerint centrális, kilencosztású volt. A kis templom az évszázadok során több alkalommal is megrongálódott. A 14. és 15. században jelentősen átépítették. A török hódoltság alatt a környező falakkal együtt várrá alakították. A 17. század végén, a 18. század első felében újjáépítették, és ekkortól plébániatemplomként működött. 1794-ben leégett. Feltárására, majd konzerválására az 1968-as és az 1972-es év közötti időszakban került sor. A helynek különös rangot ad, hogy az 1063-ban elhunyt I. Béla királyt kérésére itt temették el a még épülő templom melletti, kora kereszténység idejéből fennálló templomocskába.