ChatGPT lijkt voor mij een grote nD-honingmijt met 5 biljoen gaatjes die je gaat vullen met allemaal boeken, artikelen, zinnen, chats, woorden...respectievelijk beelden, geluiden, computercode....meer dan 2 TB
Elk woord wordt naar elk woord gerelateerd en gesorteerd op frekwentie / impact van voorkomen in semantische context.
Als je een vraag (=}"prompt") hebt, die uit een vergelijkbaar mD-systeem komt, maar kleiner is qua D-volume, dan leg je dit op het nD-frekwentie systeem en de dan meest overeenkomende raakpunten worden gepresenteerd vanuit die prompt- invalshoek.Ook spelen talen woordfrekwenties daarin mee.
Kennelijk is hierop ook ons eigen kennis- en spraaksysteem gebaseerd.
Wat je er met leren / trainen allemaal instopt, kun je er (bijna?) 100 % weer uithalen terwijl de informatie met bijna 100 - 1000 x 'gecomprimmeerd wordt, op basis van semantische elementen. Het grote probleem is echter, dat ook nieuwe informatie 'gemaakt' / (=hallicuneren) kan worden als je iets vraag wat er niet inzit, waarbij het systeem toch 'overtuigende' informatie gaat afgeven. Vaak zal ook gemeld worden dat het systeem het niet weet.
Doe dus altijd met het gevondene een second opion bij Google, wikipedia of een andere gegevensbron. Dan kun je beter inschatten of het klopt.
Vanaf de HTS opleiding ben ik bekend geraakt met associatieve geheugens, welke zeer snel op inhoud kunnen zoeken.
Daarnaast heb ik altijd het geveol gehad dat ons menselijk geheugen sterk associatief werkt en dus niet sequentieel of geindexeerd zoals dat in machines meestal gebeurt.
De komst van LLM werpt een nieuw licht op de werking van een ander soort geheugen. Informatie wordt gelezen, gelezen....en getraind. Een subset wordt op dusdanige wijze opgeslagen dat ze nagenoeg compleet, op een prompt, terug gevonden kan worden zonder dat de oorspronkelijke informatie zelf nog aanwezig is in de trainingsset.
Thu 23 Mar 2023
"Het idee om het menselijk vermogen te overtreffen is dwaas omdat het is gemaakt van menselijke vermogens." Hij zegt dat onszelf vergelijken met AI hetzelfde is als onszelf vergelijken met een auto. “Het is alsof je zegt dat een auto sneller kan gaan dan een menselijke hardloper. Natuurlijk kan dat, en toch zeggen we niet dat de auto een betere loper is geworden.”
Eigenlijk gelooft hij dat bots zoals OpenAI's ChatGPT en Google's Bard hoop kunnen bieden voor de digitale wereld. Lanier was altijd ontsteld dat het internet de indruk wekte oneindige mogelijkheden te bieden, maar in feite een verminderde keuze. Tot nu toe was het primaire gebruik van AI-algoritmen om te kiezen welke video's we op YouTube zouden willen zien, of wiens berichten we op sociale-mediaplatforms zullen zien. Lanier gelooft dat het ons lui en onnieuwsgierig heeft gemaakt. Vooraf snuffelden we stapels in een platenwinkel of snuffelden we in boekhandels. "We waren rechtstreeks verbonden met een keuzebasis die eigenlijk groter was in plaats van dit ding door deze trechter te krijgen die iemand anders beheert."
Dus kunnen de nieuwe chatbots dit uitdagen? "Rechts. Dat is mijn punt. Als je naar een chatbot gaat en zegt: ‘Kun je de staat van de Londense metro samenvatten?’, dan krijg je elke keer andere antwoorden. En dan moet je kiezen.” Deze geprogrammeerde willekeur, zegt hij, is vooruitgang. “Plotseling is dit idee om te proberen de computer menselijk te laten lijken in deze iteratie ver genoeg gegaan dat we deze illusie van de monolithische waarheid van internet of AI op natuurlijke wijze zouden zijn ontgroeid. Het betekent dat er wat meer keuze en onderscheidingsvermogen en menselijkheid terug is bij de persoon die met het ding omgaat.
Dat is allemaal goed en wel, maar hoe zit het met AI die ons op de werkvloer vervangt? We hebben al het vooruitzicht dat chatbots artikelen zoals deze schrijven. Nogmaals, hij zegt dat het niet de technologie is die ons vervangt, maar hoe we die gebruiken. "Er zijn twee manieren waarop dit kan gaan.
Een daarvan is dat we doen alsof de bot echt is, een echte entiteit zoals een persoon, en om die fantasie gaande te houden, zijn we voorzichtig om de bronteksten te vergeten die werden gebruikt om de botfunctie te laten werken. Daar zou de journalistiek schade van ondervinden.
De andere manier is dat je wel bijhoudt waar de bronnen vandaan komen. En in dat geval zou er zich een heel andere wereld kunnen ontvouwen waarin als een bot vertrouwt op uw rapportage, u daarvoor wordt betaald, en er een gedeeld gevoel van verantwoordelijkheid en aansprakelijkheid is waar alles beter werkt. De term daarvoor is data-waardigheid.”
Het lijkt mij te laat voor gegevenswaardigheid; de sombere optimist dreigt hier een utopische optimist te worden. Maar Lanier keert al snel terug naar Planet Bleak. “Met AI kun je nepnieuws sneller, goedkoper en op grotere schaal maken. Die combinatie is waar we ons uitsterven kunnen zien.
Weer dat woord, mens. De manier om ervoor te zorgen dat we voldoende gezond zijn om te overleven, is door te onthouden dat het onze menselijkheid is die ons uniek maakt, zegt hij. “Veel moderne verlichtingsdenkers en technische mensen hebben het gevoel dat er iets ouderwets is aan het geloven dat mensen speciaal zijn – bijvoorbeeld dat bewustzijn iets is. Ze hebben de neiging om te denken dat er een gelijkwaardigheid is tussen wat een computer zou kunnen zijn en wat een menselijk brein zou kunnen zijn.” Lanier heeft hier geen vrachtwagen mee. "We moeten zeggen dat bewustzijn echt is en dat mensen een mystieke innerlijkheid hebben die anders is dan andere dingen, want als we niet zeggen dat mensen speciaal zijn, hoe kunnen we dan een samenleving maken of technologieën maken die mensen dienen?"
Microsoft: Sparks of Artificial General Intelligence: Early experiments with GPT-4 155 blz 13.04.2023
samenvatting: Onderzoekers op het gebied van kunstmatige intelligentie (AI) hebben grote taalmodellen (LLM's) ontwikkeld en verfijnd die opmerkelijke capaciteiten vertonen in een verscheidenheid aan domeinen en taken, waardoor ons begrip van leren en cognitie op de proef wordt gesteld. Het nieuwste model ontwikkeld door OpenAI, GPT-4, is getraind met een ongekende schaal van rekenkracht en data. In dit artikel doen we verslag van ons onderzoek naar een vroege versie van GPT-4, toen deze nog in actieve ontwikkeling was door OpenAI. We beweren dat (deze vroege versie van) GPT-4 deel uitmaakt van een nieuwe cohort van LLM's (samen met bijvoorbeeld ChatGPT en Google's PaLM) die meer algemene intelligentie vertonen dan eerdere AI-modellen. We bespreken de toenemende mogelijkheden en implicaties van deze modellen. We laten zien dat GPT-4, naast zijn beheersing van de taal, ook nieuwe en moeilijke taken kan oplossen op het gebied van wiskunde, coderen, visie, geneeskunde, rechten, psychologie en meer, zonder dat daar speciale aanwijzingen voor nodig zijn. Bovendien liggen de prestaties van GPT-4 bij al deze taken opvallend dicht bij de prestaties op menselijk niveau en overtreffen ze vaak veel eerdere modellen zoals ChatGPT. Gezien de breedte en diepte van de mogelijkheden van GPT-4, zijn we van mening dat het redelijkerwijs kan worden gezien als een vroege (maar nog steeds onvolledige) versie van een systeem voor kunstmatige algemene intelligentie (AGI). Bij onze verkenning van GPT-4 hebben we speciale nadruk gelegd op het ontdekken van de beperkingen ervan, en we bespreken de uitdagingen die voor ons liggen om verder te gaan naar diepere en uitgebreidere versies van AGI, inclusief de mogelijke behoefte aan het nastreven van een nieuw paradigma dat verder gaat dan de voorspelling van het volgende woord. . We sluiten af met reflecties op de maatschappelijke invloeden van de recente technologische sprong en toekomstige onderzoeksrichtingen.
Microsoft: Causal Reasoning and Large Language Models: Opening a New Frontier for Causality 08.05.2023 42 blz
Samenvatting: Onderzoekers op het gebied van kunstmatige intelligentie (AI) hebben grote taalmodellen (LLM's) ontwikkeld en verfijnd die opmerkelijke capaciteiten vertonen in een verscheidenheid aan domeinen en taken, waardoor ons begrip van leren en cognitie op de proef wordt gesteld. Het nieuwste model ontwikkeld door OpenAI, GPT-4, is getraind met een ongekende schaal van rekenkracht en data. In dit artikel doen we verslag van ons onderzoek naar een vroege versie van GPT-4, toen deze nog in actieve ontwikkeling was door OpenAI. We beweren dat (deze vroege versie van) GPT-4 deel uitmaakt van een nieuwe cohort van LLM's (samen met bijvoorbeeld ChatGPT en Google's PaLM) die meer algemene intelligentie vertonen dan eerdere AI-modellen. We bespreken de toenemende mogelijkheden en implicaties van deze modellen. We laten zien dat GPT-4, naast zijn beheersing van de taal, ook nieuwe en moeilijke taken kan oplossen op het gebied van wiskunde, coderen, visie, geneeskunde, rechten, psychologie en meer, zonder dat daar speciale aanwijzingen voor nodig zijn. Bovendien liggen de prestaties van GPT-4 bij al deze taken opvallend dicht bij de prestaties op menselijk niveau en overtreffen ze vaak veel eerdere modellen zoals ChatGPT. Gezien de breedte en diepte van de mogelijkheden van GPT-4, zijn we van mening dat het redelijkerwijs kan worden gezien als een vroege (maar nog steeds onvolledige) versie van een systeem voor kunstmatige algemene intelligentie (AGI). Bij onze verkenning van GPT-4 hebben we speciale nadruk gelegd op het ontdekken van de beperkingen ervan, en we bespreken de uitdagingen die voor ons liggen om verder te gaan naar diepere en uitgebreidere versies van AGI, inclusief de mogelijke behoefte aan het nastreven van een nieuw paradigma dat verder gaat dan de voorspelling van het volgende woord. . We sluiten af met reflecties op de maatschappelijke invloeden van de recente technologische sprong en toekomstige onderzoeksrichtingen.
P.M..
AI and Microsoft Research
Learn more about the breadth of AI research at Microsoft
Unveiling Transformers with LEGO: a synthetic reasoning task
Publication, June 2022
Update 17.06.2023