El arquitecto Juan de Herrera realiza este proyecto en 1583. Es la primera edificación que se ubica fuera de las dependencias del Monasterio, con la finalidad de albergar a los catedráticos de Arte y Teología del Colegio, ya que al ser seglares no podían residir en el Convento.
Su construcción se realizó en un terreno bastante elevado con respecto al Monasterio, por lo que Juan de Herrera tiene que realizar un muro de contención para salvar el desnivel. De ahí la importancia urbana de la Casa de los Doctores pues fue el origen de lo que sería la primera calle de la localidad, hoy Floridablanca.
Es un edificio de planta rectangular, de dos alturas, configurando un volumen unitario dividido en tres casas, completamente independientes en su organización interior. A finales del siglo XIX se añade una altura más.