Es la primera obra arquitectónica de Juan de Villanueva, quien realiza el proyecto en 1768, para el abate D. Agustín Beliardi, Cónsul de Francia. Fue utilizada como su residencia durante las Jornadas Reales. Era un personaje político muy influyente, llegó a ser nombrado Agente General del Comercio y Marina en España por el Primer Ministro Francés.
Con esta primera obra, el arquitecto propone un tipo de edificio en el que destacan elementos formales herrerianos, rechazando las modas que marcaban la arquitectura francesa imperantes.
La casa consiste en un edificio de planta rectangular, con lados paralelos a los del Monasterio, contando en su origen con sólo dos alturas y las buhardillas.
En 1773, fue vendida al Marqués de Iranda, D. Simón de Aragorri y Olavide y tiene como finalidad el arrendamiento. Durante años estuvo ocupada por el Embajador de Francia.
A finales del siglo XIX, se debió transformar en residencia estival o de temporada, incrementándose una altura más e incorporando dos terrazas en la fachada principal que han cambiado bastante su imagen original.