Fue construida para D. Luis Felipe Fernández de Córdova y Gonzaga, Marqués de Cogolludo y heredero del XII Duque de Medinaceli. La finalidad del edificio era alojar a su familia ya que él tenía su residencia dentro del Monasterio.
El proyecto lo realiza Juan de Villanueva en 1785, quien en su diseño, proyecta una casa de características palaciegas. La planta es trapezoidal ordenada en dos crujías perimetrales, dejando en su interior dos patios de luces separados por la escalera de tres tramos. La portada, centrada en la fachada, se plantea con pilastras laterales y ménsulas, sobre las que apoya un balcón de hierro forjado.
En el siglo XIX, los Medinaceli se deshacen de la propiedad produciéndose su subdivisión interior y convertida en casa de vecindad.
A partir de 1971 se lleva a cabo una reconstrucción de la casa y se transforma en edificio de viviendas con cinco plantas. Se ha conservado el muro antiguo, la portada y los huecos de ventanas originales.