La Casa de los Doctores fue proyectada por Juan de Herrera en 1583 como la primera edificación situada fuera de las dependencias del Monasterio. Su finalidad era alojar a los catedráticos de Arte y Teología del Colegio, que no podían residir en el convento al ser seglares, según lo dispuesto por Felipe II.
El edificio se levantó en un terreno elevado respecto al Monasterio y al conjunto de viviendas y talleres que lo rodeaban. Para salvar este desnivel, una vez concluidas las obras de la Lonja y de las Casas de Oficios, fue necesario construir un muro de contención que dio origen a la primera calle de la localidad, la calle de los Doctores, actual Floridablanca.
Se trata de una construcción de planta rectangular y volumen unitario, inicialmente de dos alturas, dividida interiormente en tres casas independientes. En 1598, al permitir Felipe II que los profesores pertenecieran exclusivamente a la orden jerónima, el edificio perdió su función original. En 1617 las viviendas estaban ocupadas por médicos, barberos y el mayordomo del príncipe. Tras la revolución de 1868, la construcción se dividió en tres propiedades destinadas a vivienda, y a finales del siglo XIX se añadió una altura más.
Edificio histórico del Real Sitio construido para alojar a los catedráticos de la Universidad de El Escorial, uno de los primeros edificios levantados fuera del recinto monástico en el siglo XVI.