Está situada en la Lonja de poniente del Monasterio. Es la primera gran obra del arquitecto Juan de Villanueva en su carrera profesional (1769). La casa se concibe para alojar a la servidumbre o familias de los infantes D. Gabriel, D. Antonio Pascual y D. Francisco Javier, durante las Jornadas Reales.
Tiene planta rectangular, con su lado mayor cinco veces el menor, y tres niveles, semisótano de acceso, bajo y principal, además de buhardillas. La pendiente del terreno provoca diferencias de altura entre las fachadas principal y posterior, optando Villanueva por situar el piso bajo, en la cota superior, al cual se puede acceder directamente desde el denominado «patio largo».
En la fachada principal a la Lonja, se conserva el orden de las Casa de Oficios y del Monasterio, con un ritmo continuo y de huecos, cuyas guarniciones a la manera de Herrera, resaltan sobre el paramento liso de piedra. También las líneas de imposta alteran su desnudez, dividiendo las tres alturas, al igual que la sencilla cornisa que le separa de la cubierta abuhardillada.
En el frente posterior, de sólo dos pisos, debido al desnivel, Villanueva se permite mayores licencias, expresando la falta de referencias al Monasterio.
La muerte del Infante Francisco Javier hizo que la casa se dividiera entre sus dos hermanos. Al no tener descendencia el Infante D. Antonio Pascual, su mitad pasó a manos de la Corona adquiriendo ésta, desde entonces, la denominación de Casa de la Reina. Por deseo de Alfonso XIII, la otra mitad fue adquirida por la Administración de la Corona en 1925, que después de reformada, se puso en régimen de alquiler para residencia temporal y permanente.