Nonostante i successi ottenuti sia in campo militare che politico, la vita privata di Federico fu segnata da eventi tragici.

Nel 1451, nel corso di un torneo, Federico fu ferito accidentalmente e perse l’occhio destro e il suo viso fu per sempre caratterizzato da quel profilo inconfondibile con il naso spezzato.

Nel 1458, un anno dopo la morte della prima moglie Gentile Brancaleoni, Federico dovette affrontare un nuovo dolore causatogli dalla morte improvvisa del suo figlio illegittimo Buonconte, giovane di grande talento. Federico lo amava profondamente e vedeva in lui il suo futuro erede.

Nel 1460, tra una campagna militare e l’altra, si risposa con Battista Sforza che aveva appena 13 anni, il Conte ne aveva 38. Fu insieme a questa donna colta e di talento che Federico progettò una nuova vita e, con l’intento di fare di Urbino una delle corti più splendide dell’epoca, mise mano ai lavori per il Palazzo.

Gli eventi tragici del 1472 interruppero la costruzione dell’edificio. All'inizio sembrò che l’anno fosse iniziato sotto i migliori auspici. Il 24 gennaio, a Gubbio, Battista, dopo aver avuto ben 6 femmine, diede alla luce il figlio maschio tanto atteso. Al bambino fu dato il nome di Guidubaldo in segno di gratitudine verso Sant’Ubaldo, patrono della città di Gubbio che Battista aveva pregato tanto per ottenere la grazia del sospirato erede.

I festeggiamenti per la nascita si protrassero per settimane in tutto lo Stato del Montefeltro e soprattutto a Gubbio dove si era trasferita la corte.

Non si sarebbe certo potuta prevedere, sei mesi dopo, la morte improvvisa della giovane Contessa, aveva 25 anni, causata da una polmonite.

Il dolore di Federico fu immenso. Dopo la cerimonia funebre celebrata a Urbino, Federico rimase in lutto per parecchi mesi e interruppe tutti i lavori del palazzo.

Federico inoltre era afflitto da dolorosissimi attacchi di gotta che lo spinsero quasi al suicidio come confessò in una lettera inviata al suo medico.

Il 23 novembre 1477 Federico ebbe un grave incidente a San Marino, dove, ospite d'un "cittadino castellano", messo piede su d'una tavola marcia d'un "solaro" (ma corre anche voce ci sia stato del dolo), precipita "giuso" per 8 o 9 "braccia" sino alle "pietre" sottostanti, sicché gli esce "un osso dal tallone", come racconta, il 3 dicembre, Matteo Contugi da Volterra al marchese di Mantova Ludovico Gonzaga . C'è il rischio di cancrena; pare gli si debba amputare la gamba. Di fatto Federico è immobilizzato per mesi. Permanente la lesione provocata dalla "caduta": la "dislocatione" del piede sinistro. Già guercio, già sofferente atrocemente di gotta, è ora stabilmente zoppo.