Integrated AI (Youtube) - Training, data, parameters, models (GPT-3, Flamingo) In plain English - For humans -
Tijdstip in Youtube video: 5.50
1 Jelly kristal is daarbij fijner dan zand en is een webpage of een heel boek. Vervolgens veel Jelly kristallen vervolgens in een glazen pot doen en daarna husselen.
De ingrediënten:
Blauw: Het immense internet afkomstig van Common Crawl (6 delen, 100 miljoen webpagina's)
Oranje: Populaire websites zoals Reddit; Facebook en Twitter (2 delen WebText/upvoted, 8 miljoen pagina's)
Paars: Boeken: sciencefiction, academische publicaties, romans, etc., (2 delen met miljoenen boeken en academische artikelen)
Groen: Wikipedia,gevuld met informatie die door duizenden mensen is samengesteld en gecontroleerd (1 deel, met 6 miljoen webpagina's)
Stel je de gigantische pot voor, gevuld met minuscule kristallen.De kristallen representeren de diverse datastromen die een krachtige AI voeden.
De mix. Elk van deze datastromen heeft een eigen gewicht, wat aangeeft hoe belangrijk deze is voor de training van de AI. De pot symboliseert de complete dataset die de AI tot leven brengt. Verschillende labs gebruiken verschillende gewichten voor deze trainingsdata (belangrijkheid ervan). De pot is nu alle getrainde data voor de AI
De magische zwarte doos. De volgende stap is om deze dataset te injecteren in de Google Transformer, een krachtig AI-model. Deze "magische zwarte doos" analyseert de woorden en legt verbanden door zowel voor- als achteruit te kijken in de tekst. De exacte werking is zelfs voor de onderzoekers een mysterie.
Trainingstijd. Het trainen van dit AI-model kost enorm veel tijd en rekenkracht. Met de huidige capaciteit duurt het "288 jaar". Met 1000 computers is dit proces aanzienlijk te versnellen en in 3 maanden kunnen worden afgerond.
Conclusie. De creatie van een krachtige AI vereist 1) enorme hoeveelheid gevarieerde data en 2) geavanceerde technologie (*). De "Jelly Crystals" metafoor illustreert de complexiteit en kracht van dit proces.
Tijdstip in Youtube video: 11:26
Het brein als blauwdruk. Het menselijk brein, met zijn 86 miljard neuronen, functioneert als blauwdruk voor krachtige AI-modellen. Net zoals neuronen in ons brein met elkaar verbonden zijn via synapsen, worden datapoints in een AI-model gekoppeld door parameters.
Van datapoints naar neurale netwerken. Stel je een datapunt voor als een minuscuul kristal. Voordat een AI-model getraind wordt, zijn deze kristallen losse eenheden. Training verbindt deze datapoints met elkaar, net zoals synapsen neuronen in ons brein verbinden.
De Black Box: Verborgen kracht achter AI. Na training verdwijnt de oorspronkelijke trainingsdata uit de "Black Box", het AI-model. Wat overblijft, is een complex netwerk van verbindingen tussen de datapoints. Deze verbindingen, vergelijkbaar met synapsen, bevatten de geleerde kennis en vaardigheden van het model.
Van boeken tot snippets: Essentiële informatie gebundeld. Boeken, die ooit de basis vormden voor de training, worden in het model gereduceerd tot kleine tekstfragmenten ("snippets"). Deze snippets zijn met elkaar verbonden via de neurale netwerkstructuur, net zoals zinnen in een boek met elkaar verbonden zijn door woorden.
Schaalvergroting: Naar biljoenen connecties. De huidige AI-modellen bevatten al miljarden parameters, wat overeenkomt met miljarden neurale verbindingen. Toekomstige modellen beloven biljoenen van dergelijke verbindingen te bevatten, wat de mogelijkheden van AI exponentieel vergroot.
Een ondoorgrondelijke Black Box. Ondanks de toenemende complexiteit, blijft de werking van de Black Box vooralsnog een mysterie voor onderzoekers. We kunnen het model vragen om taken uit te voeren of problemen op te lossen, maar de interne processen die tot antwoorden leiden, zijn ondoorgrondelijk.
De toekomst van AI: Onbegrensde mogelijkheden? De ontwikkeling van krachtige AI-modellen, geïnspireerd door het menselijk brein, opent een wereld aan mogelijkheden. De grenzen van wat AI kan bereiken, lijken voorlopig onbegrensd. Echter, de vraag blijft bestaan: zullen we ooit de complexe werking van deze "Black Boxes" volledig begrijpen?
15:25 Bouncing Balls
Update 07.05.2024