Chatbots & informationssøgning

Udvalgte citater fra artiklen
"Vi kan ikke tjekke, hvornår ChatGPT taler sandt":

"Tillid og information

Vi ser visse informationskilder eller typer viden som mere pålidelige til end andre. Siden oplysningstiden i Europa har vi haft en tendens til at sætte lighedstegn mellem videnskabelig viden og viden generelt.

Videnskab er imidlertid mere end laboratorieforskning: Det er en måde at tænke på, der prioriterer empirisk baseret evidens og stræben efter gennemsigtige metoder til indsamling og evaluering af evidens.

Det plejer at være guldstandarden, som al viden bedømmes efter. [...]

Sandhed og output

Fordi menneskelige forfattere og ChatGPT lader til at producere det samme output – sætninger og afsnit – er det forståeligt, at en del mennesker fejlagtigt tildeler ChatGPT’s output tilsvarende videnskabelig autoritet.

Både ChatGPT og journalister producerer sætninger, men her ender ligheden også.

Det vigtigste – kilden til autoritet – er ikke, hvad de producerer, men hvordan de producerer det.

ChatGPT producerer nemlig ikke sætninger på samme måde, som en journalist gør.

ChatGPT og andre store maskinlærings-sprogmodeller kan virke sofistikerede, men de er dybest set bare komplekse udgaver af auto-complete-funktionen på en SmartPhone:

I stedet for at foreslå det næste ord i en e-mail eller besked, producerer den de mest statistisk sandsynlige ord i meget længere tekster.

Programmerne omdanner andres arbejde, som om det var noget nyt: Chatbotten ‘forstår’ ikke, hvad den producerer. [...]

Uansvarlig praksis

Fordi ChatGPT’s sandhed kun er en statistisk sandhed, kan vi aldrig stole på output produceret af dette program på samme måde, som vi kan stole på en journalists eller en forskers output.

Det kan ikke verificeres, fordi det er blevet konstrueret for at skabe output på en anden måde end dét, vi normalt betragter som værende ‘videnskabeligt’.

Vi kan ikke tjekke ChatGPT’s kilder, fordi kilden er det statistiske faktum, at visse ord har en tendens til at optræde sammen eller følge efter hinanden.

Uanset hvor sammenhængende ChatGPT’s output kan forekomme, svarer publikationen af chatbottens arbejde til at lade auto-complete løbe løbsk. [...]

Vi bør aldrig forveksle logisk sammenhæng med forståelse. ChatGPT lover nem adgang til ny og eksisterende viden, men det er at klamre sig til halmstrå.

Udvalgte citater fra artiklen
"Det nye Google er på vej: Forskere frygter dumhed og misinformation":

"Selvsikre chatbots tager ofte fejl

Chatbotten kan blive en praktisk hjælper, hvis du skal finde ud af, hvor længe kartoflerne skal koge (cirka 15 minutter).

Men den kan hurtigt skabe problemer, hvis du vil finde et godt svar på ‘hvorfor Rusland angreb Ukraine?’ eller finde fakta om Israel-Palæstina konflikten.

Ét kendt problem med AI-drevne chatbots – og kunstig intelligens helt generelt – er, at de har hang til at være lidt for skråsikre i deres svar, påpeger professor Søren Hauberg, der forsker i kunstig intelligens på Danmarks Tekniske Universitet (DTU):

»AI har en tendens til at oversælge og være helt ekstremt selvsikre. Det er meget svært at få dem til at udtrykke en form for usikkerhed,« siger Søren Hauberg, der netop forsker i, hvordan kunstig intelligens kan blive mindre skråsikre:

»Det er en indlejret del af måden, vi har bygget og trænet kunstig intelligens på. En kunstig intelligens har en opfattelse af, at det allerbedst kan svare sig for den at stå fast på sine svar. Også selvom de er forkerte,« siger Søren Hauberg.

»Helt banalt er det et problem, fordi den ganske ofte tager fejl,« tilføjer han."

Udvalgte citater fra artiklen
"Microsofts nye chatbot ryster internettet: Beskyldes for at lyve og manipulere":

"Sprogmodeller er som kædehistorier

En chatbot, der bygger på en sprogmodel, er ikke vidende, intelligent eller reflekterende, for »den har ingen dybere vidensbase,« fastslår Søren Hauberg, der forsker i kunstig intelligens på Danmarks Tekniske Universitet (DTU).

Sprogmodeller er, når alt kommer til alt, trænet til at fuldende den ene sætning efter den anden. Lidt som vi kender det fra kædehistorier på lejrskolen.

»Hvis jeg siger ‘højt fra træets grønne top’, så vil en god sprogmodel gøre min sætning færdig med ‘stråler juleglansen’. Det er det, en sprogmodel gør. Den laver sproglige analyser, der siger ‘det her ord følger efter det her ord’,« siger Søren Hauberg til Videnskab.dk.

En sprogmodel har ikke viden om, at det tager 15 minutter at koge kartofler. Den har gennem utallige hjemmesider statistisk viden om, at det er det mest almindelige svar. Og dermed også det bedste svar.

Hvis man vil forstå, hvorfor chatbotten kører ud på så mange mærkelige sidespor, så handler det om, hvor »risikovillige« de er udviklet til at være, forklarer Thomas Bolander:

Når en chatbot skal vurdere, hvilket ord den skal sætte i forlængelse af et andet ord, regner den på, hvor statistisk sandsynligt, at ‘stråler juleglansen’ kommer i forlængelse af ‘højt fra træets grønne top’.

»Hvis en chatbot er meget lidt risikovillig med de ting, som den bøvser ud, så bliver den hurtigt tør og repetitiv, fordi den vælger de statistisk sikre svar. Men hvis den får lov at tage lidt flere chancer, så bliver den hurtigt ustyrlig og vild,« siger Thomas Bolander."