Residencia de recreo en época de los Reyes Católicos. Carlos V pasó largas temporadas en ella, pero fue Fernando II quien lo convirtió en residencia fija para la familia real.

Los Borbones en el siglo XVIII embellecieron el conjunto ampliando el Palacio Real, completando el Jardín del Príncipe y construyendo la Casa del Labrador, jardín español característico del estilo de los Austrias.

A base de ladrillo rojo y piedra caliza, sus fachadas son regulares y están coronadas por una gran balaustrada, el cuerpo central destaca sobre el resto decorado con las estatuas de tres de los reyes que intervinieron en la construcción del palacio.

En 1748, un incendio destruiría el palacio, aunque sería reconstruido dirigido posteriormente por el italiano Bonavía en el siglo XVIII.

Entre sus principales estancias destacar la escalinata realizada durante el reinado de Fernando V por Bonavia de estilo rococó en forja y dorado y que es como un laberinto con múltiples rampas de acceso, el Salón del Trono toda la estancia está tapizada en terciopelo y amueblada con elementos de estilo rococó, destacando en el techo una pintura que representa una alegoría de la Monarquía. La Sala de Porcelana construida entre los años 1759 y 1765, fue realizada por artistas italianos por orden del rey Carlos III.

La sala está recubierta totalmente de placas de porcelana de la fábrica del Buen Retiro de Madrid. El fondo es blanco adornado con guirnaldas y relieves de escenas chinas y temas exóticos. La Sala de Guardias de la Reina, es el aposento donde estaban los Guardias de Corps que tenían como misión la custodia de la reina.

Otras estancias a destacar son: el Comedor de Gala; el Salón de Baile; el Dormitorio de la Reina; el Oratorio, cubierto de hermosos frescos. En estas estancias intervinieron pintores de la talla de Amiconi, Bayeu, Giordano.

Numerosos son jardines (de la isla, del príncipe), surcados por las tranquilas aguas del Tajo que rodean el palacio. Entre los más importantes está el extenso jardín del Príncipe, con sus obras arquitectónicas, como las puertas de acceso al jardín, la Fuente de Apolo o el estanque con sus templetes clásico y chinesco, diseñados por Juan de Villanueva, que también edificó el palacete conocido como Casa del Labrador.