Perteneció a la familia Monterrey, quienes lo mandaron construir. Se trata del máximo exponente del período artístico del plateresco en España.
Es de planta cuadrada prolongado en su zona posterior por dos alas paralelas. Consta de tres pisos y cuatro torres, la galería del último cuerpo está compuesta por arcadas rematadas en medallones.

La zona noble se realizó con ventanas adinteladas con semicolumnas a los lados. En la parte superior aparece una galería, las torres cuentan con miradores y están coronados por una crestería plateresca. En el interior del palacio existen numerosas muestras heráldicas e históricas que representan las casas de Zúñiga, Acevedo, Ulloa y Fonseca, entre otros.

A pesar de su majestuosidad, sólo una cuarta parte del proyecto original, llegó a realizarse. Señalar el contraste entre el aspecto defensivo de las torres y la crestería de la galería superior, jalonada de formas humanas de extraordinaria belleza. En la actualidad es propiedad de la familia ducal de Alba.