La historia de este edificio se vincula a la poderosa Casa de Mendoza, que, en el siglo XIV, recibió el Señorío de Buitrago de manos del rey Enrique II de Castilla.

En el siglo XV, Íñigo López de Mendoza, marqués de Santillana, adquirió la Dehesa del Bosque, una finca de caza mayor situada en la margen izquierda del río Lozoya, a unos dos kilómetros del casco histórico de la villa.

En el siglo XVI, uno de sus descendientes, Íñigo López de Mendoza, quinto duque del Infantado, ordenó la construcción de una villa de recreo en la citada finca. Las obras comenzaron en noviembre de 1596, bajo la dirección de Diego de Valera, y probablemente finalizaron en 1601.