Palazzo del Duca si affaccia proprio di fronte alla Rocca Roveresca.  Voluto da Guidubaldo II della Rovere a metà del Cinquecento su progetto di Gerolamo Genga, fu ampliato nei decenni immediatamente successivi dal figlio ed erede Francesco Maria II, ultimo rappresentante della dinastia, che alterò la simmetria della facciata, facendo sì che il portale d’ingresso risulti allora collocato sulla sinistra. Il palazzo non fu ideato per ospitare il duca stabilmente, ma bensì come dimora di rappresentanza per la corte e per i suoi ospiti illustri, che dalle finestre potevano ammirare le parate militari che si svolgevano nella piazza.

All'interno, uno splendido soffitto a cassettoni attribuito a Taddeo Zuccari impreziosisce la Sala del Trono. I quarantanove cassettoni furono realizzati con molta probabilità tra il 1553 e il 1555 e richiamano atmosfere gioiose, allegre, di festa. Ma vi si può notare anche ironia e satira verso il potere politico e culturale: il maestro Zuccari dipinge temi carnascialeschi mostrando un immaginario mondo alla rovescia, dove i bambini, rappresentati da puttini, comandano sugli adulti, e i poveri sui ricchi. Sempre nella Sala del Trono è anche visibile un albero genealogico su carta della famiglia Della Rovere.

Il palazzo si affaccia sull’omonima Piazza, il cui nome si riferisce invece a Giovanni Della Rovere. La piazza presenta caratteristiche uniche per l’epoca rinascimentale: non vi si affaccia nessun edificio religioso e la cosiddetta Fontana delle Anatre (o dei Leoni) è collocata in posizione decentrata, confermando così l’utilizzo militare di questo spazio.