Uitleg AI (LLM -LSCG )

[concept] 

• Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT January 9, 2023 

Mogelijk is dit verbeterd bij ChatGPT 4, 4o?

Eindelijk, en plotseling, is hier een systeem dat met succes tekst over vrijwel alles kan genereren – dat is zeer vergelijkbaar met wat mensen zouden kunnen schrijven. Het is indrukwekkend en nuttig. En zoals ik elders bespreek , denk ik dat het succes ervan ons waarschijnlijk een aantal zeer fundamentele dingen vertelt over de aard van het menselijk denken. 

Ik heb een groot deel van mijn leven besteed aan de veeleisende taak om de enige grootschalige computertaal ter wereld te bouwen.

 Wolfram|Alpha doet iets heel anders dan ChatGPT, op een heel andere manier. Maar ze hebben een gemeenschappelijke interface: natuurlijke taal.

Al tientallen jaren bestaat er een tweedeling in het denken over AI tussen “statistische benaderingen” zoals ChatGPT gebruikt, en “symbolische benaderingen” die in feite het uitgangspunt vormen voor Wolfram|Alpha. Maar nu – dankzij het succes van ChatGPT – en al het werk dat we hebben gedaan om Wolfram|Alpha natuurlijke taal te laten begrijpen – is er eindelijk de mogelijkheid om deze te combineren om iets veel sterkers te maken dan elk van hen ooit op zichzelf zou kunnen bereiken. 

Een basisvoorbeeld

In de kern is ChatGPT een systeem voor het genereren van taalkundige output dat “het patroon volgt” van wat er op internet staat en in boeken en ander materiaal dat bij de training is gebruikt. En wat opmerkelijk is, is hoe menselijk de output is, niet alleen op kleine schaal, maar voor hele essays. Het heeft samenhangende dingen te zeggen, die concepten bevatten die het heeft geleerd, vaak op interessante en onverwachte manieren. Wat het oplevert is altijd ‘statistisch plausibel’, tenminste op taalkundig niveau. Maar hoe indrukwekkend dat ook mag zijn, het betekent zeker niet dat alle feiten en berekeningen die het vol vertrouwen naar voren brengt, noodzakelijkerwijs correct zijn.

Hier is een voorbeeld dat me net is opgevallen (en ja, ChatGPT heeft intrinsieke ingebouwde willekeur, dus als je dit probeert, krijg je waarschijnlijk niet hetzelfde resultaat):

Bijv. Afstand tussen 2 steden in de wereld gaat / ging vaak verkeerd?

ChatGPT neemt een persoonlijke correctie zeer beleefd op, en als u de vraag nog een keer stelt, wordt het juiste antwoord gegeven. 

• ik weet niet of hij dat, ook voor anderen, en of daarna onthoudt?

Maar waarom begrijpt ChatGPT dit specifieke ding überhaupt verkeerd? Als het de specifieke afstand tussen Chicago en Tokio ergens in zijn training had gezien (bijvoorbeeld via internet), zou het dit natuurlijk goed kunnen doen. Maar dit is een geval waarin het soort generalisatie dat een neuraal net gemakkelijk kan bewerkstelligen – bijvoorbeeld op basis van vele voorbeelden van afstanden tussen steden – niet voldoende zal zijn; er is een echt rekenalgoritme nodig. 

Maar zonder “de wiskunde echt te begrijpen” is het feitelijk onmogelijk voor ChatGPT om op betrouwbare wijze het juiste antwoord te krijgen. En in dit geval is het antwoord opnieuw verkeerd: 

 Maar het punt is dat het fundamentele idee van een generatief taalgebaseerd AI-systeem zoals ChatGPT gewoon niet goed past in situaties waarin er gestructureerde computationele dingen te doen zijn. Anders gezegd: er zou een bijna oneindig aantal 'bugs' moeten worden 'gerepareerd' om op te lossen wat zelfs een bijna oneindig klein hoekje van Wolfram|Alpha op zijn gestructureerde manier kan bereiken. 

Het blijkt echter dat gegevens feitelijk soms gewoon “verzonnen” zijn.

Het pad vooruit

Machine learning is een krachtige methode en heeft vooral de afgelopen tien jaar een aantal opmerkelijke successen geboekt, waarvan ChatGPT de nieuwste is. Beeldherkenning . Spraak naar tekst . Taal vertaling . In elk van deze gevallen, en in nog veel meer gevallen, werd een drempel overschreden – meestal vrij plotseling. En sommige taken gingen van ‘in principe onmogelijk’ naar ‘in principe uitvoerbaar’.

Maar de resultaten zijn in wezen nooit ‘perfect’. Misschien werkt iets 95% van de tijd goed. Maar hoe je het ook probeert, de overige 5% blijft ongrijpbaar. Voor sommige doeleinden zou je dit als een mislukking kunnen beschouwen. Maar het belangrijkste punt is dat er vaak allerlei belangrijke use cases zijn waarvoor 95% ‘goed genoeg’ is. 

• Misschien komt het omdat de output iets is waarbij er toch niet echt een “juist antwoord” bestaat. 

• Misschien komt het omdat je alleen maar probeert mogelijkheden aan het licht te brengen waaruit een mens – of een systematisch algoritme – vervolgens zal kiezen of verfijnen. 

Het is volkomen opmerkelijk dat een neuraal netwerk met een paar honderd miljard parameters dat tekst per token genereert, het soort dingen kan doen die ChatGPT kan. En gezien dit dramatische – en onverwachte – succes zou je kunnen denken dat als je maar door kon gaan met het ‘trainen van een netwerk dat groot genoeg is’, je er absoluut alles mee zou kunnen doen. Maar zo zal het niet werken. Fundamentele feiten over berekeningen – en met name het concept van computationele onherleidbaarheid – maken duidelijk dat dit uiteindelijk niet mogelijk is. Maar wat relevanter is, is wat we hebben gezien in de feitelijke geschiedenis van machine learning. Er zal een grote doorbraak komen (zoals ChatGPT). En de verbetering stopt niet. Maar wat veel belangrijker is, is dat er gebruiksscenario's worden gevonden die succesvol zijn met wat kan worden gedaan, en die niet worden geblokkeerd door wat niet kan.

En ja, er zullen genoeg gevallen zijn waarin “raw ChatGPT” kan helpen bij het schrijven van mensen, suggesties kan doen of tekst kan genereren die nuttig is voor verschillende soorten documenten of interacties. Maar als het gaat om het opzetten van dingen die perfect moeten zijn, is machinaal leren gewoon niet de manier om dat te doen, net zoals mensen dat ook niet zijn.

En dat is precies wat we zien in de bovenstaande voorbeelden. ChatGPT doet het uitstekend op de “mensachtige delen”, waar geen precies “juist antwoord” bestaat. Maar als het voor iets specifieks “ter plekke wordt neergezet”, valt het vaak naar beneden. Maar het hele punt hier is dat er een geweldige manier is om dit probleem op te lossen – door ChatGPT te verbinden met Wolfram|Alpha en al zijn 'superkrachten' op het gebied van computerkennis.

Binnen Wolfram|Alpha wordt alles omgezet in computertaal en in precieze Wolfram Taalcode, die op een bepaald niveau ‘perfect’ moet zijn om betrouwbaar bruikbaar te zijn. Maar het cruciale punt is dat ChatGPT dit niet hoeft te genereren. Het kan zijn gebruikelijke natuurlijke taal produceren, en vervolgens kan Wolfram|Alpha zijn mogelijkheden voor het begrijpen van natuurlijke taal gebruiken om die natuurlijke taal in precieze Wolfram-taal te vertalen.

In veel opzichten zou je kunnen zeggen dat ChatGPT dingen nooit “echt begrijpt”; het “weet gewoon hoe het dingen moet produceren die nuttig zijn”. Maar bij Wolfram|Alpha is het een ander verhaal. Want zodra Wolfram|Alpha iets naar Wolfram Language heeft omgezet, krijgt het een volledige, precieze, formele representatie, waaruit men op betrouwbare wijze dingen kan berekenen. Het is onnodig te zeggen dat er tal van zaken van 'menselijk belang' zijn waarvoor we geen formele computerrepresentaties hebben - hoewel we er nog steeds over kunnen praten, zij het misschien onnauwkeurig, in natuurlijke taal. En hiervoor staat ChatGPT er alleen voor, met zijn zeer indrukwekkende mogelijkheden.

Maar net als wij mensen zijn er momenten waarop ChatGPT een meer formele en nauwkeurige ‘power assist’ nodig heeft. Maar het punt is dat het niet 'formeel en precies' hoeft te zijn in het zeggen van wat het wil. Omdat Wolfram|Alpha ermee kan communiceren in wat neerkomt op de moedertaal van ChatGPT: natuurlijke taal. En Wolfram|Alpha zorgt voor “het toevoegen van de formaliteit en precisie” wanneer het wordt omgezet naar zijn moedertaal: Wolfram Language. Het is een heel goede situatie, die volgens mij een groot praktisch potentieel heeft.

En dat potentieel ligt niet alleen op het niveau van typische chatbot- of tekstgeneratietoepassingen. Het strekt zich uit tot zaken als het doen van datawetenschap of andere vormen van computerwerk (of programmeren). In zekere zin is het een directe manier om het beste van twee werelden te krijgen: de mensachtige wereld van ChatGPT en de computationeel nauwkeurige wereld van Wolfram Language.

Hoe zit het met ChatGPT die direct Wolfram Language leert? Nou ja, dat zou het kunnen doen, en in feite is het al begonnen. En uiteindelijk verwacht ik volledig dat zoiets als ChatGPT rechtstreeks in Wolfram Language zal kunnen werken , en daarin zeer krachtig zal zijn. Het is een interessante en unieke situatie, mogelijk gemaakt door het karakter van de Wolfram-taal als een volledige computertaal die in computationele termen breed kan praten over dingen in de wereld en elders.

Het hele concept van de Wolfram-taal is om dingen waar wij mensen aan denken, te nemen en ze computationeel te kunnen representeren en ermee te werken. Gewone programmeertalen zijn bedoeld om manieren te bieden om computers specifiek te vertellen wat ze moeten doen. De Wolfram-taal – in zijn rol als volledige computertaal – gaat over iets dat veel groter is dan dat. In feite is het bedoeld als een taal waarin zowel mensen als computers 'computationeel kunnen denken'.

Vele eeuwen geleden, toen de wiskundige notatie werd uitgevonden, voorzag het voor het eerst in een gestroomlijnd medium om ‘wiskundig na te denken’ over dingen. En de uitvinding ervan leidde al snel tot algebra en calculus, en uiteindelijk tot alle verschillende wiskundige wetenschappen. Het doel van de Wolfram-taal is om iets soortgelijks te doen voor computationeel denken, maar nu niet alleen voor mensen – en om alle ‘computationele X’-velden mogelijk te maken die door het computationele paradigma kunnen worden geopend.

Ikzelf heb enorm geprofiteerd van het feit dat Wolfram Taal een ‘taal is om in te denken’, en het is geweldig om te zien dat er de afgelopen decennia zoveel vooruitgang is geboekt als gevolg van het feit dat mensen ‘in computationele termen denken’ via het medium Wolfram. Taal. Dus hoe zit het met ChatGPT? Nou ja, het kan hier ook op ingaan. Hoe het allemaal precies zal werken, weet ik nog niet zeker. Maar het gaat er niet om dat ChatGPT de berekeningen leert uitvoeren die de Wolfram-taal al weet te doen. Het gaat erom dat ChatGPT leert hoe je de Wolfram-taal kunt gebruiken, meer zoals mensen dat doen. Het gaat erom dat ChatGPT de analogie van “creatieve essays” bedenkt, maar nu niet in natuurlijke taal geschreven, maar in computationele taal.

Ik heb lang gesproken over het concept van door mensen geschreven computationele essays , die communiceren in een mix van natuurlijke taal en computationele taal. Nu gaat het erom dat ChatGPT die kan schrijven – en Wolfram Language kan gebruiken als een manier om “betekenisvolle communicatie” te leveren, niet alleen voor mensen, maar ook voor computers. En ja, er is een potentieel interessante feedbacklus waarbij de Wolfram Language-code daadwerkelijk wordt uitgevoerd. Maar het cruciale punt is dat de rijkdom en stroom van ‘ideeën’ die worden vertegenwoordigd door de Wolfram Language-code – in tegenstelling tot een gewone programmeertaal – veel dichter in de buurt komt van het soort dingen waarmee ChatGPT ‘op magische wijze’ in natuurlijke taal heeft kunnen werken. .

Of, anders gezegd: Wolfram Language is – net als natuurlijke taal – iets dat zo expressief is dat je je kunt voorstellen dat je er een betekenisvolle ‘prompt’ voor ChatGPT in schrijft. Ja, Wolfram Language kan rechtstreeks op een computer worden uitgevoerd. Maar als ChatGPT-prompt kan het worden gebruikt om “een idee uit te drukken” waarvan het “verhaal” kan worden voortgezet. Het zou een bepaalde computationele structuur kunnen beschrijven, waardoor ChatGPT kan 'praat' over wat men computationeel zou kunnen zeggen over die structuur die - volgens wat het heeft geleerd door zoveel dingen te lezen die door mensen zijn geschreven - 'interessant voor mensen' zou zijn.

Er zijn allerlei opwindende mogelijkheden, plotseling geopend door het onverwachte succes van ChatGPT. Maar voorlopig is er de onmiddellijke mogelijkheid om ChatGPT computationele kennis superkrachten te geven via Wolfram|Alpha. Het kan dus niet alleen 'plausibele mensachtige output' produceren, maar output die gebruik maakt van de hele toren van berekeningen en kennis die is ingekapseld in Wolfram|Alpha en de Wolfram-taal.

Citaat:

Stephen Wolfram (2023), "Wolfram | Alpha als de manier om superkrachten op het gebied van computationele kennis naar ChatGPT te brengen", Stephen Wolfram Writings. Writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-bring-computational-knowledge-superpowers-to-chatgpt. 

Update 26.05.2024