El Palacete fue una propiedad que perteneció desde 1781 a María Ana de Silva y Sarmiento, duquesa de Arcos, quien la reformó y redecoró en el estilo pseudoclásico francés que dominaba en la época, con motivos copiados de los hallados en Pompeya y Herculano. Ejemplo de ello son la sala de comedor, con su tribuna de los músicos y una escalera que conducía al piso superior, o el gabinete de los Estucos. Dos años después murió la duquesa y heredó la propiedad su hija María del Pilar Teresa Cayetana de Silva, duquesa de Alba quien continuo la renovación que había llevado a cabo su madre. Tras la muerte de la duquesa en 1802, Carlos IV comunicó a los herederos su determinación de comprar el terreno y realizó algunas modificaciones en las habitaciones e incorporó una escalera de caracol de caoba en el vestíbulo. Cuando en 1808 el palacete fue ocupado por el general Murat, se acometieron muy pocas reformas, ya que apenas permaneció dos semanas en él. Fue José I, hermano de Napoleón, quien ordenó renovar la decoración del edificio, de la que se encargó el arquitecto y pintor francés Juan Dugourc, según recoge el Archivo General de Palacio. A este respecto resulta muy valioso un informe del director de la Real Florida fechado en 1812, que incluye un inventario del palacete en el que se detallan todas las dependencias y su mobiliario.

Ezquerra indica en su libro que en lugares como la primera antecamara o recibimiento de los lacayos se encuentran dos bancos, estilo pompeyano, donados por la Marquesa, viuda de Comillas y en la escalera de caoba se encuentra una placa grande de cuatro pies con una danza de bacantes en el mismo tono, cuyo modelo, hallado en Herculano o Pompeya, proporcionó entonces la Academia.

El 20 de noviembre de 1936 en plena Guerra Civil Española, Asensio ocupó el palacete de la Moncloa y en 1938 fue destruido completamente. En 1948 el arquitecto Diego Méndez realizó un proyecto historicista, al estilo dieciochesco
de la casita del Labrador de Aranjuez, para construir un nuevo palacio en el solar que ocupara el antiguo palacete. Este nuevo Palacio de la Moncloa, concluido en 1953, fue levantado como «Residencia para personalidades nacionales y extranjeras» y empezó a ser utilizado desde entonces para visitas protocolarias de aquellos jefes de Estado y otras personalidades que visitaban Madrid. En 1977, razones de seguridad y comodidad aconsejaron el traslado de la Presidencia del Gobierno al nuevo Palacio.