A lakóház 1780 és 1800 közötti időszakban épült klasszicizáló késő barokk (copf) stílusban, az udvari szárny későbbi. 1967-ben és 1979-ben felújították, az emlékházi funkciónak megfelelően átalakították. Itt született a modern magyar irodalom egyik legnagyobb alakja, Babits Mihály, aki szekszárdi kötődését több rangos művében megörökítette.
A telek végét és jobb oldalát magas kőfal határolja. Az épület az utcavonalon azzal párhuzamosan áll, téglalap alaprajzú, kétszintes, két szárnyból álló lakóház. Utcai homlokzatához jobb felől a kerítésfalban nyíló kapu csatlakozik, mellette Babits-emléktábla olvasható. Bent Babits-emlékkiállítás látható. Ez egy szobában az ugyancsak Szekszárdon született Dienes Valéria emlékeivel is kiegészül. A korábban „öreg Kelemen-ház”-ként ismert épület udvarában 1981 óta található Babits Mihály ülő bronzszobra, amely Farkas Pál helyi szobrászművész alkotása.