El palacio fue construido por orden del rey Felipe V, sobre el solar dejado por el Real Alcázar, destruido casi del todo por un incendio en 1734. Tanto los cimientos del antiguo alcázar como alguna de sus estructuras fueron utilizadas para la construcción del nuevo palacio.

El último monarca que vivió en palacio fue Alfonso XIII, aunque Manuel Azaña, presidente de la Segunda República, también habitó en el mismo, ocupando las habitaciones que anteriormente había ocupado la reina María Cristina y siendo, por tanto, el último jefe de Estado que lo hizo.

El interior del palacio destaca por su riqueza artística, tanto en lo que se refiere al uso de toda clase de materiales nobles en su construcción como a la decoración de sus salones con obras de arte de todo tipo, como pinturas de artistas de la importancia de Caravaggio, Velázquez, Francisco de Goya y frescos de Corrado Giaquinto, Giovanni Battista Tiepolo o Anton Raphael Mengs. Otras colecciones destacables que se conservan en el edificio son las de la Armería Real, porcelana, relojería, mobiliario y platería.