A partir de l'any 456, data del saqueig vàndal, Roma va patir un altra època d'anarquia que va durar vint anys, en la que un seguit d'emperadors governaven només en teoria la ciutat. L'últim d'ells, Romul Augústul, va ser obligat a abdicar el 4 de setembre del 476 per un líder de una tribu germànica anomenat Odoacre. Aquesta és la data acceptada habitualment com la de la Caiguda de l'Imperi Romà d'Occident.
La part oriental de l'imperi, procedent com l'occidental de la divisió de Teodósi l'any 395, no va ser envaïda i continuarà la seva història fins el 1.453, amb el nom d'Imperi Bizantí. En el segle V, i després de la caiguda d'occident, l'imperi romà d'orient seguia sent la principal potència mundial amb capital a Constantinopla.
L'any 476 es també considerat com la data de l’inici de l’Edat Mitjana, on desapareix la unitat romana i on els diferents pobles germànics ocupen les antigues províncies de l'imperi d'occident per intentar constituir regnes independents.
En el moment en que occident es va quedar sense emperador, l'emperador Bizantí Zenó es va considerar l'únic governant de tot l'imperi i, envoltat d'un gran ritual, va donar el nomenament de Patrici a Odoacre perquè governés Itàlia com delegat de l'emperador resident a Constantinobla.
Odoacre, meravellat de l’esplendor de la cerimònia i enriquit per la generositat de l'emperador, va reconèixer la sobirania de Zenó.
D'aquesta manera la ciutat de Roma va continuar, al menys teòricament, dins les fronteres imperials.