Promontoire sur la Dordogne, le site était occupé depuis le XIVème siècle par le château fort de la famille des Marqueyssac, vassale de Beynac.

En 1692, la propriété est vendue à Bertrand Vernet, Conseiller du Roi à Sarlat. Ce dernier demande à Porcher, élève de Le Nôtre, de dessiner un jardin et un potager dans le goût de Versailles.

Au 18ème siècle, le château médiéval est détruit par un incendie, puis reconstruit dans le style Classique.