Edificio simbólico toledano, ha ido creciendo de forma similar a la de la ciudad, teniendo sus orígenes más antiguos en la época romana. Está situado sobre una colina haciendo de su situación un punto estratégico, desarrollando diversas funciones a lo largo de los años.

Tiene planta cuadrada en torno a un patio central, con torres angulares rematadas con el estilo escurialense.

La fachada muestra gran horizontalidad, con tres cuerpos, que rematan en balaustrada. La reconstrucción del Alcázar ha modificado de forma necesaria el aspecto original del edificio, haciéndose notar en sus cuatro fachadas: una es renacentista; otra plateresca; la del lado este es medieval, con torreones y defensa almenada; y la del lado sur es de estilo churrigueresco, levantada según planos de Juan de Herrera.

Fue residencia real con Carlos V y se convirtió en prisión de estado en 1643. Cedido por Carlos III al cardenal Lorenzana.

Tras la reforma encomendada por éste al arquitecto Ventura Rodríguez, las dependencias del Alcázar fueron sede de la Real Casa de la Caridad. En el patio central se levanta una copia de la escultura de Carlos V de Leoni. Al fondo de este patio la bellísima escalera trazada por Herrera Villalpando.

Actualmente alberga la sede del Museo del Ejército, donde se muestran diferentes tipos de armas, objetos y documentos militares de distintos períodos, colecciones de soldados de plomo o la maqueta de la fisonomía derruida del Alcázar tras las Guerra Civil.