Es handelt sich um das Wahrzeichen Toledos. Das Gebäude hat sich parallel zur Stadt entwickelt –seine Ursprung geht auf der römischen Zeit zurück. Das Gebäude liegt strategisch auf einem Hügel und hat im Folge der Zeit unterschiedliche Zwecke gehabt.

Der quadratische Grundriss wird einen quadratischen Hof angeordnet und hat Türme an den Ecken.

Die Fassade besteht aus drei nüchternen Teilbaukörpern, die mit einer Brüstung gekrönt werden. Die verschiedene Rekonstruktionen des Alcazars haben das ursprüngliche Gebäude in der Art geändert, dass je die vier Portale in einer unterschiedlichen Stilrichtung erbaut ist. Ein von denen ist im Stil der Renaissance erbaut, ein weiteres ist plateresk, das Ostportal stammt mit den Verteidigungstürmen und den Zinnen aus dem Mittelalter und das Südportal wird nach dem Entwurf von Juan de Herrera im Churriguera-Stil errichtet.

Der Alcazar war die königliche Residenz Karls V. und 1643 wurde er in staatliches Gefängnis verwandelt. Nachdem Karl III. das Gebäude dem Kardinal Lorenzana widmete.

Wurde es auf Befehl des Kardinals von Ventura Rodríguez umgebaut und seine Zimmer wurden Sitz der religiösen Stiftung Real Casa de la Caridad. Im Innenhof erhebt sich das Abbild Karls von Leoni und sticht die großartige Treppe von Herrera Villalpando hervor.

Heutzutage ist der Alcazar Sitz des Armeemuseums, in dem Waffen unterschiedlicher Arten, Gegenstände und Unterlage verschiedener Epochen, Zinnsoldaten Sammlungen oder das Modell der ehemaligen Architektur des Alcazars, bevor er während des bürgerlichen Kriegs zerstört wurde, ausgestellt sind.