zie...llm
Large language model WIkipedia
The Rise and Potential of Large Language Model Based Agents: A Survey 🔥 Must-read papers for LLM-based agents.
LLM is een mooie en unieke manier om informatie op te slaan en vervolgens op te vragen.
Er wordt enorm veel data ingezelen, 'getraind', en in een 'vector-ruimte' opgeslagen met behulp van statistische algoritmen. De semantische compressie is enorm (factor 1000 of meer?).
Het vervolgens opvragen aan de hand van een gestelde vraag ("prompt") kan zeer snel gebeuren.
De oorspronkelijke informatie is niet meer aanwezig. Alles is zodanig verdicht en gehutseld dat het een grote rijstebrei is geworden.
De met LLM-mechnsime uitgeruste computer kan de opgeslagen informatie vrijwel direct opvragen en bijna naadloos teru transformeren
Edoch, het transformator mechanisme gaat voor NIET-opgeslagen / - getrainde informatie op precies dezelfde wijze te werk en genereert dan op overtuigende wijze gefantaseerde informatie. Dit noemt men met een net woord "hallicuneren".
Ook zal het model last kunnen hebben van (on)bewust vooringenomen standpunten (BIAS) in de (samples) van de trainingssets.
Ik adviseer om in voorkomende gevallen, in geval van twijfels of misschien altijd een goede second opinion bron te raadplegen, bijv. Wikipedia, Google search of een overheids -/ bedrijf - / prive bron danwel een menselijke deskundige zeker in medische, juridische of andere persoonlijke zaken. Het gecombineerde resultaat zaldoorgaans veel sneller bereik worden dan zonder LLM.
Mijn gedachte is dat het hele menselijke informatiepotentieel veel lijkt op een LLM-model.
Miljarden mensen nemen waar, verwerken, slaan op en reproduceren de opgeslagen informatie en delen die met elkaar etc. etc.
Eigenlijk werkt onze gehele menselijke Kennis als den groot LLM, verder door mij LLLM genoemd.
Je kun het ook zo zien als een mens met een LLLM en meerdere mensen met LLLLM etc.
Het lijkt de manier op, tegenstrijdige, taal-gebaseerde informatie statistisch te verdichten , uniek te maken en goed te structureren en delen voor alle deelnemers.
LLMxxx is maar een aspect van het menselijke denken.
Andere asepecten zijn de diverse algoritmen voor rekenen, logica, meta-niveaus.....zal tzt bij AI duidelijker gaan worden. Voortschrijdend inzicht
Who’s Who in Large Language Model Science? Mapping Science as a Graph
https://www.kenedict.com/networks/llm/ interactive version
-----------------------------
What are large language models supposed to model? August 31, 2023
GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models August 22, 2023 36 blz.
Uit onze analyse blijkt dat personen met een bachelor-, master- en professionele graad meer blootgesteld zijn aan GPT’s en door GPT ondersteunde software dan personen zonder formele onderwijsdiploma’s (zie Tabel 7). Interessant is dat we ook vaststellen dat personen met enige universitaire opleiding, maar zonder diploma, een hoge mate van blootstelling aan GPT's en door GPT aangedreven software vertonen. Als we de tabel met toetredingsdrempels bekijken, zien we dat de banen met de minste blootstelling de langste training vereisen, wat mogelijk een lagere uitbetaling oplevert (in termen van mediaan inkomen) zodra de competentie is bereikt. Omgekeerd zijn er banen waarvoor geen training op de werkplek of alleen een stage vereist is
Het is belangrijk op te merken dat 'blootstelling' niet noodzakelijkerwijs betekent dat LLM's alle mensen in het specifieke domein vervangen, maar dat die domeinen in plaats daarvan kunnen worden uitgebreid met LLM's of LLM's in combinatie met aanvullende software. “Wij definiëren blootstelling als een maatstaf voor de potentiële economische impact, zonder onderscheid te maken tussen arbeidsvergrotende of arbeidsverdringende effecten.” Hoe dan ook, arbeidsvergroting resulteert vaak in minder benodigde arbeid.
What are Large Language Models (LLMs)? August 11th, 2023
Do Humans Still Have a Role in the Era of Large Language Models and Generative AI? 2023 Jul 21
Beginner’s Guide to Build Your Own Large Language Models from Scratch July 5, 2023
What are Large Language Models? June 21, 2023
What Is a Large Language Model, the Tech Behind ChatGPT? June 7, 2023
DIMENSIONS LLM dimensies
Inside ChatGPT's Brain: Large Language Models May 30th, 2023
Large Language Model Training in 2023 May 20, 2023
Unveiling the Power, Challenges, and Impact of Large Language Models May 3, 2023
How to Evaluate a Large Language Model (LLM)? May 17th, 2023
The role of large language models in the AI war. Welcome to the backyard of AI tools February 27, 2023
Overcoming the Limitations of Large Language Models - How to enhance LLMs with human-like cognitive skills 2023 Jan 23
Visualizing Representations: Deep Learning and Human Beings January 16, 2015
Do Large Language Models Know What Humans Know? 04 July 2023
Mensen kunnen overtuigingen aan anderen toeschrijven. Het is echter onbekend in welke mate dit vermogen het gevolg is van een aangeboren biologische gave of van ervaring die is opgedaan tijdens de ontwikkeling van het kind, in het bijzonder de blootstelling aan taal die de mentale toestanden van anderen beschrijft. We testen de haalbaarheid van de taalblootstellingshypothese door te beoordelen of modellen die worden blootgesteld aan grote hoeveelheden menselijke taal gevoelig zijn voor de impliciete kennistoestanden van karakters in geschreven passages. In vooraf geregistreerde analyses presenteren we een taalkundige versie van de False Belief Task aan zowel menselijke deelnemers als een groot taalmodel, GPT-3. Beiden zijn gevoelig voor de overtuigingen van anderen, maar hoewel het taalmodel het toevalsgedrag aanzienlijk overtreft, presteert het niet zo goed als de mens en verklaart het ook niet de volledige omvang van hun gedrag – ondanks dat het wordt blootgesteld aan meer taal dan een mens in een wereld zou doen. levenslang. Dit suggereert dat hoewel statistisch leren door blootstelling aan taal gedeeltelijk kan verklaren hoe mensen het vermogen ontwikkelen om te redeneren over de mentale toestanden van anderen, er ook andere mechanismen verantwoordelijk zijn.
Large Language Models and the Reverse Turing Test 2023 May 12. National Library of Medicine (NIH)
Grote taalmodellen (LLM's) zijn transformatief geweest. Het zijn vooraf getrainde basismodellen die onder zelfcontrole staan en kunnen worden aangepast met fijnafstemming voor een breed scala aan natuurlijke taaltaken, die voorheen elk een afzonderlijk netwerkmodel nodig hadden. Dit is een stap dichter bij de buitengewone veelzijdigheid van de menselijke taal. GPT-3 en, meer recentelijk, LaMDA, beide LLM's, kunnen dialogen met mensen over veel onderwerpen voeren na minimale voorbereiding met een paar voorbeelden. Er is echter een breed scala aan reacties en discussies geweest over de vraag of deze LLM's begrijpen wat ze zeggen of tekenen van intelligentie vertonen. Deze hoge variantie komt naar voren in drie interviews met LLM's die tot totaal verschillende conclusies kwamen. Er werd een nieuwe mogelijkheid ontdekt die dit verschil zou kunnen verklaren. Wat bij LLM’s intelligentie lijkt te zijn, kan in feite een spiegel zijn die de intelligentie van de interviewer weerspiegelt, een opmerkelijke wending die als een omgekeerde Turing-test zou kunnen worden beschouwd. Als dat zo is, kunnen we door het bestuderen van interviews wellicht meer te weten komen over de intelligentie en overtuigingen van de interviewer dan over de intelligentie van de LLM’s. Naarmate LLM's capabeler worden, kunnen ze de manier veranderen waarop we met machines omgaan en hoe ze met elkaar omgaan. LLM's worden steeds vaker gekoppeld aan sensomotorische apparaten. LLM's kunnen praten, maar kunnen ze ook de daad bij het woord voegen? Er wordt een routekaart geschetst voor het bereiken van kunstmatige algemene autonomie met zeven belangrijke verbeteringen, geïnspireerd door hersensystemen, en hoe LLM's op hun beurt kunnen worden gebruikt om nieuwe inzichten in de hersenfunctie bloot te leggen.
LLM cognition is probably not human-like 8th May 2023
Deze gedachte-experimenten en observaties zijn niet bedoeld om definitief aan te tonen dat toekomstige GPT's (of daarop gebaseerde systemen) geen mensachtige cognitie zullen hebben. Ze zijn eerder bedoeld om aan te tonen dat schijnbare overeenkomsten op oppervlakteniveau van de huidige LLM-outputs met menselijke outputs dit niet impliceren. GPT's zijn voorspellers, geen imitators, maar imiteren is een manier om voorspellingen te doen die vaak effectief is in veel domeinen, inclusief het imiteren van schijnbare fouten. Mensen zijn goed in het matchen van patronen, maar vaak kan het zoeken naar patronen op oppervlakteniveau leiden tot overpassen en het zien van patronen die in het territorium niet bestaan. Naarmate modellen krachtiger worden en beter in staat zijn mensachtige resultaten te produceren, kan het interpreteren van LLM-resultaten als bewijs van onderliggende mensachtige cognitie zowel verleidelijker als beladener worden.
AI Talk: Brain and language models Dec. 3, 2021
More than 1,250 short and long papers were presented at this conference, along with 20+ technical tracks and 23 workshops on all sorts of NLP related themes. It is hard to keep up with this wealth of information being created and presented just at this conference—not to mention the scores of other conferences advancing research in AI. All the papers presented are in public domain and you can peruse their massive collection on the Association of Computational Linguistics (ACL) website.
Laten we nu teruggaan naar het onderwerp in kwestie: het verband tussen de hersenen en taalmodellen. Professor Evelina Fedorenko, hoofd van de afdeling hersen- en cognitieve wetenschappen aan het MIT, hield een keynote speech bij EMNLP. Ze begon met de fundamentele vraag: wat is de rol van taal? Is het om ons in staat te stellen complexe gedachten te denken of is het vooral bedoeld om de communicatie te ondersteunen? Door middel van een reeks experimenten waarbij gebruik wordt gemaakt van functionele magnetische resonantie beeldvorming (fMRI)-technologie op menselijke proefpersonen, werpt ze licht op het onderwerp. fMRI-beeldvormingsstudies hebben nu specifieke gebieden in de hersenen geïdentificeerd die worden geactiveerd wanneer ze taaltaken uitvoeren. Dezelfde beeldvormingstechniek laat zien dat verschillende delen van de hersenen, en niet het taalperceptiegebied, worden ingeschakeld wanneer cognitief redeneren nodig is. De implicatie? Taalverwerking is iets anders dan cognitief denken. Complexe gedachten worden niet verwerkt door de taalmachinerie van mensen. Dat is een interessante conclusie.
Haar werk gaat verder: Transformer-architecturen en vooraf getrainde taalmodellen zijn een van de populairste gebieden geworden op het gebied van AI en het genereren en begrijpen van natuurlijke taal. GPT-3-modellen hebben ons verbaasd met hun functionaliteit, maar een grote kritiek op deze modellen is dat ze niet kunnen redeneren of denken. Ze kunnen ook niet rekenen en hebben ook geen gezond verstand. Het blijkt dat, zo betoogt professor Fedorenko, wij dat ook niet kunnen! Het deel van onze hersenen dat met taal omgaat, kan ook niet omgaan met complexe redeneringen. Ook laat ze met verschillende experimenten zien dat taalmodellen zoals GPT daadwerkelijk kunnen voorspellen welke delen van de hersenen worden geactiveerd bij voorspellende taken. De voorspelling van het volgende woord besteedt slechts aandacht aan ongeveer 8-10 woorden context. Dit zijn de hersenen waar we het over hebben. Hetzelfde geldt grotendeels ook voor LLM. Ongelooflijk.
Een andere gerelateerde lezing waar ik me op wil concentreren, was die van professor Willem Zuidema van het Instituut voor Logica, Taal en Informatica van de Universiteit van Amsterdam. Hij was een uitgenodigde lezing in een workshop genaamd “Blackbox NLP: het analyseren en interpreteren van neurale netwerken voor NLP.” Zijn presentatie was getiteld ‘Taal, hersenen en interpreteerbaarheid’. De onderliggende draad van deze lezing was dat menselijke hersenen net zo goed een zwarte doos zijn als de huidige diepe neurale netwerken. Het is mogelijk dat dezelfde benaderingen om te onderzoeken hoe we neurale netwerken verklaarbaar en interpreteerbaar kunnen maken, uiteindelijk ook op onze hersenmaterie kunnen worden toegepast! In zijn lezing verwees hij naar het hierboven besproken werk van professor Fedorenko over het vermogen van LLM's om de locatie van hersenactiviteit te voorspellen. Zijn groep heeft de gelijkenis van representatie van taalkundige concepten tussen de hersenen en taalmodellen onderzocht met behulp van fMRI en andere hersenscans. Representationele gelijkenisanalyse (RSA), zoals het wordt genoemd, laat zien dat er inderdaad gebieden in onze hersenen zijn waar conceptrepresentaties worden bewaard. En wanneer deze worden vertaald naar een vectorvorm (inbedding), kan worden aangetoond dat deze zich vergelijkbaar gedraagt als inbedding die is afgeleid van LLM's. De groep onderzoekt verschillende interpretatietechnieken en hoopt hun onderzoek te gebruiken om licht te werpen op hoe mensen taal verwerken.
Uiteindelijk kunnen we weglopen met de volgende inzichten: LLM's lijken behoorlijk op onze hersenen wat betreft de manier waarop taal wordt verwerkt en verwerkt. LLM's zijn echter niet goed voor het gezond verstand of cognitief redeneren. Dat geldt ook voor het taalverwerkingsgedeelte van onze hersenen. In wezen impliceert dit dat we aparte structuren nodig hebben die het gezond verstand redeneren in siliciumarchitecturen afhandelen – net zoals we een aparte neurale architectuur hebben om met onze cognitieve vaardigheden om te gaan.
John [login] VOORLOPIGE CONCLUSIE: Toekomstige AI zal in de verste verte nooit bewustwording krijgen zolang niet elk element vebinding met de andere elementen van het systeem heeft en met de elementen van de omgeving, en dat op alle lagen van (sub?)string tot Dark Energie
--------------------------
Could a Large Language Model Be Conscious? - Within the next decade, we may well have systems that are serious candidates for consciousness. / David J. Chalmers August 9, 2023 <======================
Taalmodellen zijn systemen die waarschijnlijkheden toewijzen aan tekstreeksen. Wanneer ze een initiële tekst krijgen, gebruiken ze deze kansen om nieuwe tekst te genereren. Grote taalmodellen (LLM's), zoals de bekende GPT-systemen, zijn taalmodellen die gebruik maken van gigantische kunstmatige neurale netwerken. Dit zijn enorme netwerken van onderling verbonden neuronachtige eenheden, getraind met behulp van een enorme hoeveelheid tekstgegevens, die tekstinvoer verwerken en reageren met tekstuitvoer. Deze systemen worden gebruikt om tekst te genereren die steeds menselijker wordt. Veel mensen zeggen dat ze een sprankje intelligentie in deze systemen zien, en sommige mensen onderscheiden tekenen van bewustzijn.
Ik ben geïnteresseerd in zowel de LLM's van vandaag als hun opvolgers. Deze opvolgers omvatten wat ik LLM+-systemen zal noemen, of uitgebreide grote taalmodellen. Deze uitgebreide modellen voegen verdere capaciteiten toe aan de pure tekst- of taalcapaciteiten van een taalmodel.
Er zijn multimodale modellen die beeld- en audioverwerking toevoegen en
soms de controle over een fysiek of virtueel lichaam toevoegen.
Er zijn modellen uitgebreid met acties zoals databasequery's en
code-uitvoering.
Omdat het menselijk bewustzijn multimodaal is en nauw verbonden is met actie, kan worden gesteld dat deze uitgebreide systemen veelbelovender zijn dan pure LLM's als kandidaten voor menselijk bewustzijn.
Mijn plan is als volgt.
Eerst zal ik proberen iets te zeggen om de kwestie van het bewustzijn te verduidelijken.
Ten tweede zal ik kort de redenen onderzoeken die pleiten voor bewustzijn in de huidige grote taalmodellen.
Ten derde zal ik dieper ingaan op de redenen om te denken dat grote taalmodellen niet bewust zijn.
Ten slotte zal ik enkele conclusies trekken en eindigen met een mogelijke routekaart naar bewustzijn in grote taalmodellen en hun uitbreidingen.
vervolg [Login] ivm auteursrechten of ander gedoe...
Update 13.07.2024