Los reyes vivían en el Alcázar, pero Felipe IV quería tener una segunda vivienda, más cómoda y menos húmeda en la que pasar ciertas temporadas de esparcimiento y recreo. Así surgió la idea de hacerse construir un nuevo palacio, a las afueras de Madrid, hacia levante, en la zona llamada El Prado, cerca de las Huertas que, desde el centro de la ciudad, en ligera pendiente, descendían hacia el río Manzanares.
