Le promoteur de cet édifice fut le Duc d'Arcos, D. Antonio Ponce de León Spínola, l'un des gentilshommes les plus proches de Carlos III. Le tracé et la direction sont dus à l'architecte Manuel Machaca Vargas.
Il fut commandé par le Duc d'Arcos pour loger sa famille et ses domestiques lors des Journées Royales. Sa fille, la XIIIe Duchesse d'Alba, immortalisée par Goya dans ses tableaux, en deviendra la propriétaire en 1784.
Sa configuration architecturale concorde avec le style que Juan de Villanueva imposera au Real Sitio, deux étages et mansarde, étant l'un des rares bâtiments du XVIIIe siècle auxquels un troisième niveau n'a pas été ajouté.
Avec la disparition des Journées Royales, la maison se transforme en résidence permanente, favorisant sa division en trois parties.
Bâtiment commandé par le Duc d'Arcos, gentilhomme proche de Charles III, selon les plans de l'architecte Manuel Machaca Varela, qui est devenu ultérieurement la propriété du Duc d'Albe.