Fue construida para D. Antonio Vicente Yánez, quien en 1771 es nombrado Alcalde Mayor de la Villa de El Escorial y del Real Sitio de San Lorenzo. Además era miembro del Consejo de Su Majestad, alcalde del Crimen de la Real Chancillería y Abogado de los Reales Consejos.
Es el primer Alcalde Mayor que decide vivir de manera permanente en San Lorenzo, a pesar de la obligación que tenía de residir en El Escorial.
El proyecto es del año 1771 y su arquitecto fue Diego Ochoa, ayudante de Jaime Marquet en el Real Coliseo. El 22 de Abril de 1773, Juan Esteban certifica la finalización de la Casa.
La planta tiene forma trapezoidal y en su aspecto exterior, el edificio es de los más representativos del siglo XVIII. La fachada más importante da a la calle Gobernador, donde se encuentra la puerta de acceso, con cerco de granito moldurado y pilastras laterales que llevan dos ménsulas sobre las que descansa un balcón superior de hierro forjado.