El rey Carlos III es quien decide la construcción de este edificio. Estaba destinado a los trabajadores que intervenían en las obras de las nuevas casas del Real Sitio, debido a los continuos accidentes y enfermedades que ocurrían cada vez, con mayor frecuencia.
El proyecto fue realizado por el arquitecto Juan Esteban en 1771 y se inaugura en 1773, pero sólo con una parte en uso. La planta del edificio es rectangular y su perímetro se ha mantenido hasta la actualidad.
A partir de 1781, será el arquitecto Juan de Villanueva quien se encargue de las obras del edificio. En 1801, proyecta la prolongación de la sala principal, cuyos costes se sufragan con la venta de las propiedades del Hospital.
Después de la revolución de 1868, la titularidad del edificio pasa a ser municipal, conservando las funciones sanitarias que lo originaron.
A partir de 1943, se denomina «Hospital de la Alcaldesa», haciendo referencia a Doña Carmen Polo, quien había sido nombrada Alcaldesa honoraria.
En la segunda mitad del siglo XX, se llevan a cabo varias reformas importantes. En el año 2002 recupera el nombre antiguo, denominándose «Centro de Salud San Carlos».