Budapest V. kerületének egyik legjelentősebb klasszicista műemléke. Az egyemeletes, szabadon álló ház 1832-ben épült Anton Pius Riegl és Hofrichter József tervei szerint.
Az egy síkot képező udvari homlokzat központi motívuma a balkon. A 2000-ben véget ért felújításnak köszönhetően régi fotók és leírások alapján rekonstruálták a Károlyiak korabeli könyvtárat (mely ma olvasóterem): fölkerültek a fény- és porfogó függönyök, elkészült az eredeti kandalló másolata, a mennyezetaranyozás, a korhű csillármásolat, a falitükrök. Az eredetiben megmaradt galériát és könyvszekrényeket egyedileg tervezett olvasótermi bútorzattal egészítették ki.
Itt működött Bártfay László híres irodalmi szalonja, 1849-50-ben pedig Jellasics, majd Haynau szállása volt. 1957-től a Petőfi Irodalmi Múzeum otthona. Ma a Magyar Irodalom Háza néven a Kortárs Irodalmi Központ székhelye is. Mozgáskorlátozottak is tudják látogatni.