Su construcción se inicia por deseo de D. Pedro Enríquez, Adelantado Mayor de Andalucía, y por su mujer, Catalina de Ribera. Se le considera como un "prototipo" de palacio andaluz, que mezcla elementos de estilo renacentista italiano y el estilo mudéjar español. La portada del edificio se remata por una crestería gótica realizada en Génova por Antonio María Aprile. En el interior un patio andaluz, donde una fuente hace de centro, tiene decoración plateresca y mudéjar, desde donde se llega a dos jardines, y un pabellón.

Al piso superior se accede por una grandiosa escalera decorada con zócalos de azulejos y cubierta con cúpula de madera, donde se conservan una importante colección de pinturas fechables desde el siglo XVI al XIX, entre las que destacan: La Piedad de Sebastián del Piombo, de 1539, en la sala del Torreón; un pequeño Goya representando el arrastre del toro, en la sala contigua a la anterior; un bodegón de Giusseppe Recco, en el comedor; y una tabla representando a la Magdalena, obra del siglo XVI, en la sala que antecede al archivo, en el cual se encuentran tres pinturas de Lucas Jordán, de gran calidad y belleza. 

Destaca también la escultura de un Buen Pastor paleocristiano dónde se funde aún la tradición romana con el tema cristiano; así como figuras paganas como la diosa Palas, o de emperadores romanos a los que se une la figura de Carlos V con clara simbología política.

En la actualidad es residencia permanente de los duques de Medinaceli.