El promotor de este edificio fue el Duque de Arcos, D. Antonio Ponce de León Spínola, uno de los gentileshombres más próximos a Calos III. La traza y dirección se debe al arquitecto Manuel Machaca Vargas.
Fue encargado por el Duque de Arcos para alojar a su familia y servidumbre durante las Jornadas Reales. Su hija, la XIII Duquesa de Alba, inmortalizada por Goya en sus cuadros, se convertirá en su propietaria en 1784.
Su configuración arquitectónica concuerda con el estilo que impondrá Juan de Villanueva en el Real Sitio, dos pisos y buhardilla, siendo uno de los pocos edificios del siglo XVIII a los que no se ha añadido un tercer nivel.
Con la desaparición de las Jornadas Reales, la casa se transforma en vivienda permanente, propiciando su división en tres partes.