Tot i que la presència islàmica a la península va durar gairebé 800 anys, la forma de governar i el territori dominat va canviar al llarg d'aquest temps, especialment degut a dos factors:
La disminució del territori a causa de les campanyes militar empreses pels comtats catalans i els regnes cristians del nord peninsular.
Les rivalitats i enfrontaments entre els diferents grups de poder dins de l'Imperi Islàmic i Al-Àndalus.
En un primer moment, el territori conquerit pels musulmans es va convertir en una província o emirat que depenia del Califat Omeia de Damasc (711-756). Es va establir la capital a Còrdova i es va nomenar un valí per governar l'emirat.
A mitjans del segle VIII, els omeies van perdre el seu poder a favor dels abbàssides de Bagdad. L'últim membre de la família Omeia, el príncep Abderraman, va fugir de la seva ciutat i es va establir a Al-Àndalus. Va trencar els vincles amb el Califat de Bagdad, es va proclamar emir independent amb el nom d'Abderraman I i va fundar l'Emirat Omeia de Còrdova (756-929). Aquest fet va comportar el trencament de la unitat política de l'Imperi islàmic.
A principis del s. X, l'emirat havia de fer front a diversos problemes: atacs dels regnes cristians del nord, rebel·lions internes, amenaces al comerç marítim...
L'emir Abderraman III va voler imposar la seva autoritat sobre les diferents famílies musulmanes que rivalitzaven pel poder. Amb aquesta intenció, l'any 929 es va independitzar de l'autoritat religiosa de Bagdad, es va proclamar califa i va fundar el Califat de Còrdova.
El califa va exercir un poder absolut: era jutge suprem, màxima autoritat religiosa i general dels exèrcits. Per sota hi havia el hayib (primer ministre), ajudat pels diferents visirs (ministres). Tots junts formaven el divan (govern).
Durant aquells anys, Al Àndalus va intervenir al nord d'Àfrica dominant la regió del sud del Sàhara (ruta de l'or del Sudan). També va hostilitzar els regnes cristians del nord de la Península (campanyes d'Almansor).
El califat va assolir una gran projecció política entre els estats europeus i mediterranis, i va establir contactes polítics i comercials amb els regnes cristians de la Península, així com amb els imperis bizantí i germànic. La prosperitat del califat es basava en el cobrament de tributs als regnes cristians peninsulars, el comerç marítim i el seu poderós exèrcit.
A partir del 1008, la unitat del Califat es va veure compromesa. L'aristocràcia, els alts funcionaris i l'exèrcit pugnaven per escapar del control del Califa. L'any 1031, Al-Àndalus es va fragmentar en diversos regnes islàmics independents anomenats taifes.
Aquesta fragmentació va debilitar les taifes davant els regnes cristians, evidenciant una clara inferioritat militar, cosa que va fer que es veiessin obligades a pagar uns tributs anuals o mensuals (paries) en conceptes de reconeixement del domini territorial, d'indemnitzacions de guerra o de protecció militar.
D'altra banda, aquesta debilitat va afavorir la invasió de dos imperis islàmics nord-africans, els almoràvits al segle XI i dels almohades al segle XII. Tots dos pobles es van instal·lar a Al-Àndalus i van controlar la majoria dels regnes de taifes.
L'únic territori que va sobreviure a les grans conqueses cristianes del segle XIII va ser el regne de Granada, governat per la dinastia nassarita.
El regne posseïa un extens territori, una gran façana marítima, importants ports comercials i una rica agricultura. La seva capital, Granada, era un dels centres culturals i comercials més importants d'Europa.
La seva posició estratègica i la seva riquesa que li permetia pagar uns elevats impostos per evitar els atacs de Castella, van fer possible que perdurés fins a l'any 1492, quan Boabdil, últim rei nassarita de Granada es va rendir als Reis Catòlics.