Le promoteur de cet édifice fut le Duc d’Arcos, Don Antonio Ponce de León Spínola, l’un des gentilshommes les plus proches de Charles III. Le projet et la direction sont de l’architecte Don Manuel Machaca Vargas.
Le Duc d’Arcos commanda cette maison pour pouvoir y loger sa famille et ses serviteurs durant les Séjours Royaux. Sa fille, la XIIIè Duchesse d’Alba, immortalisée par Goya dans ses tableaux, deviendra sa propriétaire en 1784.
Sa configuration architectonique concorde avec le style imposé dans le Site Royal par Juan de Villanueva, c’est-à-dire : deux étages et combles. Cet édifice est l’un des rares du début du XVIIIè auquel un étage n’ait pas été rajouté à la fin du XIXè siècle.
Après la disparition des Séjour Royaux, la maison fut divisée en trois parties afin de pouvoir la convertir en résidence principale.