W XVII wieku na terenie dzisiejszego pałacu, w którym mieści się Archiwum Główne Akt Dawnych, została wybudowana okazała kamienica. Po 1717 roku Konstanty Szeniawski przystąpił do przebudowy budynku i nadał mu charakter pałacowy. W 1787 roku w pałacu zamieszkał Kazimierz Raczyński, który znowu go przebudował na styl klasycystyczny. Raczyński był na usługach Carycy Katarzyny i zapisał się w historii jako jedna z najbardziej negatywnych postaci w Polsce XVIII wieku. W 1794 roku, aby uniknąć egzekucji musiał uciec za granicę. Później w pałacu mieściły się biura, aż nadeszła II wojna światowa, czarny okres w historii pałacu. W budynku mieścił się sąd niemiecki. W styczniu 1944 pod murami pałacu rozstrzelano 50 Polaków. W czasie powstania warszawskiego pałac zajęli Polacy i umieścili w nim szpital powstańczy. Po upadku powstania hitlerowcy rozstrzelali prawie wszystkich rannych. Pałac odbudowano po wojnie w latach 1948 - 1950.