A Gubbio Federico non fece costruire un palazzo per sé e per la sua corte. Le autorità comunali avevano permesso a Federico, nei primi tempi del suo dominio, di ristrutturare un edificio preesistente che sorgeva a ridosso del monte Ingino che si erge alle spalle della città. Questo edificio, assieme ad una torre, all’antico palazzo del Comune ed ad una piazzetta davanti alla cattedrale, era stato il centro civico di Gubbio fino alla costruzione del Palazzo dei Consoli. A monte di questo nucleo erano presenti due importanti infrastrutture cittadine realizzate probabilmente nel Duecento: la cisterna (da cui si diramava l’acquedotto) e la principale rocca cittadina detta il Cassero. Le prime consistenti modifiche di queste costruzioni si devono al conte Guidantonio (1404-1443) che aveva fatto ristrutturare il Cassero e la rocca di Sant’Ubaldo.

Sotto Federico il Cassero venne inglobato in un nuovo sistema di fortificazione denominato “Rocca nuova di Sant’Agnese”. Tale fortificazione verrà demolita nel 1502 dal Duca Guidobaldo per impedire che il Valentino potesse occuparla.

I Consoli concessero a Federico la proprietà della sua nuova residenza e nel 1472 Francesco di Giorgio iniziò a ridisegnare il palazzo della guardia e lo spazio circostante con l’intento di trasformarli in una dimora rinascimentale.

Il Palazzo per come si presenta, specialmente all’esterno, non ha nulla della solennità del suo gemello di Urbino. Ciò si spiega, oltre che per il carattere più intimo e domestico di questa dimora, per la sua posizione che, se la rendeva più sicura e non facilmente accessibile, addossata come era al monte, la faceva necessariamente schiava della posizione stessa e perciò irregolare e asimmetrica. In compenso però permetteva di tenere sotto lo sguardo la città intera distesa ai suoi piedi e di avere a due passi la Cattedrale. Per queste ragioni Federico non poté e non volle costruire un edificio sontuoso all’esterno, destinato come era a non raccogliere, come quello di Urbino, un gran numero di artisti e di cortigiani, ma a servire per il tranquillo riposo del suo spirito, bisognoso qualche volta di interiore solitudine.

L’antico palazzo della Guardia che occupava quella zona è rimasto quasi intatto ed ha dato la base e l’ossatura a tutto l’edificio. Era una robusta costruzione a due piani lunga 36 metri e larga 20, che si sviluppava parallela al declivio montano e poggiava sopra un robusto tunnel a cavaliere della strada che, da due parti opposte della città, conduceva al Duomo. Dalla parte del tunnel che guarda la città si aprono tra i pilastri della volta a crociera, finestre ad arco acuto in pietra levigata, dalla parte opposta l’edificio si interna nel vivo del monte in ampie cantine oscure. Le estremità del corridoio noto come Voltone, che in origine dovevano essere grandi quanto la strada, sono poi state ristrette con porte ad arco tondo. Al di sopra della volta si eleva un altro piano di cui rimangono intatte all’esterno le snelle finestre che danno luce a due saloni contigui, lunghi e ampi più di 300 metri quadrati, quanto il tunnel sottostante. Contiguo al Voltone si apre un gradevole giardino pensile.

La riutilizzazione del palazzo della Guardia non era un compito facile, data la necessità di conservare la facciata e di sfruttare il disegno irregolare della piccola piazza. Di questo spazio approfittò l’architetto del Duca per crearvi quel meraviglioso cortile che è una delle opere più delicate che il Rinascimento abbia prodotto. Solo un architetto dotato di fantasia come Francesco di Giorgio Martini poté raggiungere i risultati che oggi noi vediamo.

Lo spazio irregolare della piazzetta originaria venne trasformato in un cortile rinascimentale circondato su tre lati da un portico ad archi su colonne e da una semplice parete sul quarto lato che aveva la funzione di nascondere le strutture medievali a ridosso del monte. Danno ingresso al cortile due porte ad arco tondo, l’una di fronte alla Cattedrale e l’altra sul alto opposto, e certamente questa costituiva l’ingresso principale, sia perché più agevole era la strada che vi conduceva e sia perché subito, alla sua sinistra, si apriva la scala principale e a destra l’ingresso al quartiere nobile.