Het Palacio Ducal ligt op het hoogste punt van de stad Lerma. Het is gebouwd op de plek van een 15e eeuws kasteel als een ideale plek voor Koning Felipe III om te verblijven, uit te rusten en in het algemeen te genieten. Het gebouw heeft een centrale binnenplaats die omgeven wordt door arcades met zuilen in afwisselende gedeeltes: de eerste heeft 20 Toscaanse zuilen met halfronde bogen en de tweede heeft 20 Ionische zuilen. Het paleis is gerenoveerd en omgebouwd tot hotel met in totaal 70 kamers, die onderdak bieden aan maximaal 133 personen. Afgezien van de gebruikelijke hotel
