I primi giochi olimpici si svolsero nel 776 a.C. ad Olimpia, in Grecia. All'inizio era essenzialmente una manifestazione locale e veniva disputata unicamente un'antica gara di corsa. Successivamente si aggiunsero altri sport e i Giochi arrivarono a comprendere corsa, pugilato, lotta e pentathlon. Da quel momento in poi, i Giochi divennero lentamente sempre più importanti in tutta la Grecia antica, raggiungendo l'apice nel VI secolo a.C. e nel V secolo a.C. Le Olimpiadi avevano anche un'importanza religiosa, in quanto si svolgevano in onore di Zeus, una statua del quale si trovava ad Olimpia. Il numero di gare crebbe a venti, e le celebrazioni si estendevano su più giorni. I vincitori delle gare erano ammirati e immortalati. I Giochi si tenevano ogni quattro anni e il periodo tra le due celebrazioni divenne noto come Olimpiade. Per tutta la durata dei giochi (cinque giorni) venivano sospese le guerre in tutta la Grecia: questa tregua era chiamata Tregua Olimpica. I greci usavano le Olimpiadi anche come metodo per contare gli anni.
La partecipazione era riservata a greci liberi che potessero vantare antenati greci. La necessità di dedicare molto tempo agli allenamenti comportava che solo i membri delle classi più facoltose potessero prendere in considerazione di partecipare. Venivano esclusi dalla partecipazione gli schiavi, i barbari, gli assassini, i sacrileghi e le donne. I Giochi persero gradualmente importanza con l'aumentare del potere Romano in Grecia. Quando il cristianesimo divenne la religione ufficiale dell'Impero Romano, i Giochi Olimpici vennero visti come una festa "pagana", e il loro prestigio diminuiva in modo inversamente proporzionale alla corruzione degli atleti, con gare sempre più falsate. Nel 393 d.C. con l'influenza del vescovo di Milano Ambrogio, l'imperatore Teodosio li vietò, ponendo fine a una storia durata più di 1000 anni.
Giochi Olimpici non morirono: già nel XVII secolo, si teneva in Inghilterra un festival sportivo che prendeva proprio il nome dalle Olimpiadi. Nei secoli seguenti eventi simili vennero organizzati in Francia e in Grecia, ma si trattava di manifestazioni su piccola scala e sicuramente non internazionali. L'interesse nella rinascita dei Giochi Olimpici crebbe quando le rovine dell'antica Olimpia vennero scoperte dagli archeologi tedeschi alla metà del XIX secolo.
Contemporaneamente un barone francese, Pierre de Coubertin, cercava una spiegazione alla sconfitta francese nella guerra franco-prussiana (1870-1871). Giunse alla conclusione che i francesi non avevano ricevuto un'educazione fisica adeguata, e si impegnò per migliorarla.
De Coubertin presentò in pubblico le sue idee nel giugno 1894 durante un congresso presso l'università della Sorbona a Parigi. Il 23 giugno, ultimo giorno del congresso, venne deciso che i primi Giochi Olimpici dell'era moderna si sarebbero svolti nel 1896 ad Atene, in Grecia, la terra dove erano nati in antichità. Fu fondato il Comitato Olimpico Internazionale (CIO) per organizzare l'evento, sotto la presidenza del greco Demétrios Vikélas.
Le prime Olimpiadi dell'era moderna furono un successo. Con quasi 250 partecipanti, fu per l'epoca il più grande evento sportivo internazionale mai organizzato. La Grecia chiese di diventare sede permanente di tutti i futuri Giochi Olimpici, ma il CIO decise che le Olimpiadi avrebbero dovuto essere organizzate di volta in volta in una nazione diversa.