El palacio es la joya arquitectónica más preciada de la ciudad y fue construido por mandato de Íñigo López de Mendoza según el proyecto del arquitecto Juan Guas. Fue reformado en el año 1569 por el arquitecto Acacio Orejón, quien decoró los techos de algunas dependencias con frescos de artistas italianos. Ofrece una mezcla muy vistosa de estilos, pues el gótico flamígero se da la mano con lo mudéjar y con variados detalles del Renacimiento.

Palacio residencial en el que destacan los ornamentos de fachada y patio. La fachada es renacentista, en la que desatacan la decoración heráldica y de puntas de diamante. Las ventanas aparecen rematada por frontones triangulares, columnas decoradas a los lados de la puerta y una galería de balcones con arcos apuntados y parteluz también muy ornamentados en la parte superior del edificio.

En el patio interior aparecen tallados gran número de animales fantásticos, como estatuas de grifos y leones en las enjutas de los arcos mixtilíneos. Los jardines se diseñaron en estilo morisco y renacentista, la galería del jardín fue diseñada por Lorenzo Trillo, en el año 1496.

Del interior del edificio hay que destacar las pinturas del siglo XVI que decoran las dependencias del piso inferior. Las que se conservan son obra de Rómulo Cincinato, que también decoró habitaciones de los palacios de El Pardo y del Monasterio de El Escorial. En la actualidad alberga el Museo Provincial, donde se puede contemplar interesantes colecciones de obras pictóricas, arqueológicas y etnográficas.