Das Gebäude wurde von dem Kardinal Pedro González de Mendoza Anfang 16. Jahrhundert mit dem Ziel begründet, die Waisenkinder zu beherbergen. Das Museum liegt in dem ehemaligen Hospital Santa Cruz, ein Renaissancegebäude, das von seinem plateresken Portal, der Kreuzgang und die höfische Treppe von Covarrubias gekennzeichnet ist. Es besitzt auch schöne Mudejar und Renaissancekassettendecken.

Heutzutage ist das Hospital in einem Museum verwandelt worden und es beherbergt Sammlungen von Bildender Kunst, Archäologie und dekorativer Kunst. Die breiten kreuzförmigen Galerien des Gebäudes stellen mehrere Werke von El Greco aus, wie “Mariä Himmelfahrt”, und wichtige Stücke der westgotischen Kunst, wie Grabmäler, Steintafeln oder Altare.

Außerdem beinhaltet es bedeutende Sonderausstellungen. Dieses Museum wird als eines der besseren Regionalmuseen Spaniens betrachtet.