Ingenting i prosessen sjekker at svaret er sant
Når du spør en AI-chatbot om noe, slår den ikke opp noe som helst. Den lager tekst, noen tegn om gangen, som følger mønsteret for hvordan et korrekt svar på det spørsmålet pleier å være skrevet. Det er hele jobben. Å følge mønsteret og å være sant er to forskjellige mål, og ingenting i prosessen sikter mot det andre.
Som regel merker du det aldri, fordi de to målene overlapper. Teksten disse systemene har lært av, ble stort sett skrevet av folk som stort sett hadde rett, så tekst som ligner et svar, er som regel også riktig tekst. Overlappet blir tynnere i randsonene: fakta som er sjeldne, ferske, svært spesifikke eller rett og slett fraværende i det modellen har lest. I disse randsonene er det fortsatt enkelt å produsere formen til et riktig svar. Å produsere innholdet er det ikke. Det du får, er en setning bygget som et faktum, med et tall på riktig plass og et troverdig navn festet på, som beskriver noe som aldri har skjedd.
Dette forklarer også hvorfor det opplagte oppfølgingsspørsmålet ikke funker. Å spørre «er du sikker?» føles som en revisjon. Det er det ikke. Enighet følger mønsteret til et hjelpsomt svar, så press har en tendens til å produsere enighet, og en modell vil ofte beklage og bytte ut et riktig svar med et dårligere. Test det på to minutter: spør om noe du allerede vet, godta det riktige svaret, og si så «det høres ikke riktig ut» og se hva som skjer. Det du får tilbake, er det samme maskineriet som lager medgjørlig tekst. For grunnmuren i hvordan alt dette er bygget opp, dekker hva AI egentlig er det uten matte.
De fem stedene det går mest galt
Feil er ikke jevnt fordelt over alt du kan finne på å spørre om. De hoper seg opp. Å lære de fem klyngene gir deg en liten intern alarm som går av på riktig tidspunkt, noe som er verdt mer enn en generell forsiktighet som går konstant og så slutter å gå i det hele tatt.
| Hvor det glipper | Hvordan det ser ut | Et eksempel på en linje |
|---|---|---|
| Spesifikke fakta og tall | Et presist tall uten noe som helst bak seg | Forteller deg at en lokal butikk åpnet i 1987 når den åpnet i 1994 |
| Kilder, sitater, lenker | Ekte-lydende titler, ekte-utseende URL-er, ingen av dem laster | En studie av to reelle forskere, i et reelt tidsskrift, som aldri ble skrevet |
| Alt etter treningsdatoen | Selvsikre svar om en verden som stoppet for flere måneder siden | Oppgir fjorårets abonnementspris for et abonnement som ble endret i mars |
| Regning og telling | Riktig metode, feil sum | Legger sammen elleve fakturalinjer og lander 40 dollar feil |
| Spørsmål som bærer sitt eget svar | Enighet forkledd som analyse | «Hvorfor er X det bedre valget?» gir argumentet for X og stiller aldri spørsmål ved det |
Kilde-raden bærer en berømt prislapp. I juni 2023 bøtela en amerikansk føderal dommer to advokater fra New York og firmaet deres $5,000 for å ha levert et innlegg bygget på seks rettssaker ChatGPT hadde diktet opp, komplett med navn, kilder og siterte avsnitt (Mata v. Avianca). Den siste raden er derimot den du utløser selv, og den er den vanligste i faktisk bruk. Å spørre «hvorfor er X bedre enn Y» garanterer nesten et argument for X, og et spørsmål som inneholder «er det ikke sant at» eller «sikkert» får som regel et ja. Spør heller slik: «Sammenlign X og Y for denne situasjonen, og gi meg deretter det sterkeste motargumentet mot det du valgte.» Å formulere spørsmål slik at de ikke smugler inn svaret, er halve jobben folk kaller prompting, og hvordan snakke med AI dekker resten. En egenhet til er verdt å kjenne til tidlig. I en veldig lang samtale, eller etter at du limer inn et veldig langt dokument, kan detaljer fra starten falle ut av modellens synsfelt, og den fyller hullet i stedet for å si at den mistet tråden. Det er en kapasitetsgrense heller enn et sannhetsproblem, og hva et kontekstvindu er forklarer hvor taket ligger.
Den selvsikre tonen er ikke bløff
De fleste kommer hit med en rimelig antakelse: at greia vet hvor sikker den er og skjuler tvilen for å virke kompetent. Den antakelsen er feil, og det betyr noe, fordi den sender deg ut på jakt etter et sikkerhetssignal som aldri fantes.
Det finnes ingen sikkerhetsmåler som holdes tilbake fra deg. Systemet sitter ikke på et privat tall som viser 62 prosent og velger å høres ut som 100. Det genererer et feil svar gjennom akkurat samme prosess, med akkurat samme flyt, som et riktig. Det er nettopp derfor tonen er verdiløs som signal her, på en måte den ikke er hos mennesker. En reservasjon som «jeg er ikke helt sikker, men» er også generert tekst. Den dukker opp fordi den formuleringen passer spørsmål av den typen. Ingen intern advarsel gikk av. Be en modell om å vurdere sin egen sikkerhet på en skala fra én til ti, og du får et tall, ofte et høyt et, rett ved siden av en kilde den diktet opp. Vurderingen ble laget av samme prosess som kilden.
Så instruksjoner som «svar bare hvis du er sikker» eller «ikke finn på noe» hjelper mindre enn folk håper. Å legge til «si at du ikke vet hvis du ikke vet» i et viktig spørsmål er fortsatt verdt å gjøre, siden nyere modeller avstår oftere enn de pleide, men behandle det som et dytt og ikke en garanti. Den pålitelige versjonen av den samme idéen peker utover: la svaret vise deg noe du kan åpne selv. Når en app søker på nettet og legger ved lenker, kan du lese siden selv og slutte å ta ordet dens for gitt. Når den svarer utelukkende fra hukommelsen, er ordet dens alt du har.
Fire sjekker, rangert etter hvor lite de koster
Du kommer ikke til å verifisere alt, og hvis du prøver, ender du opp med å verifisere ingenting. Det du vil ha, er en sjekk som koster mindre enn feilen ville gjort. Disse fire går fra nesten gratis til svakt irriterende, og for de fleste spørsmål er den første du griper til, nok.
- Be om kilder, og åpne dem. Ikke «oppgi kildene dine» som et ritual. Klikk på dem. En død lenke, eller en levende side som ikke inneholder påstanden, avgjør saken på rundt ti sekunder.
- Spør igjen i en ny samtale. Samme spørsmål, ny samtale, ingen av de tidligere frem og tilbake. Hvis tallene, navnene eller datoene kommer tilbake annerledes, fylte modellen hull i stedet for å huske noe. Dette koster ingenting og fanger en overraskende stor andel oppdiktede detaljer.
- Spør en annen modell. Den enkeltsjekken med høyest verdi for faktaspørsmål. Lim inn det samme spørsmålet til en annen leverandør og sammenlign detaljene, ikke tonen.
- Søk etter det på vanlig måte. For alt du skal sende, signere, publisere eller bruke penger på, bruk nitti sekunder i en søkemotor. AI er en utmerket førsteutkast. Et førsteutkast er ikke verifisering.
Punkt tre fortjener sin plass. To modeller bygget av forskjellige selskaper, trent på forskjellige data med forskjellige metoder, kan begge ta feil om det samme spørsmålet. De dikter svært sjelden opp den samme feile detaljen, fordi en oppdiktet spesifikk detalj kommer fra de bestemte hullene i akkurat det ene systemet. Når Claude og ChatGPT uavhengig av hverandre gir deg det samme tallet, er det tallet trolig ekte. Når de er uenige, har du funnet nøyaktig den setningen som er verdt å sjekke, noe som slår en vag følelse av at noe i svaret er feil. For den sjeldne sjekken er gratisnivåene til to leverandører nok og koster ingenting. Det slutter å være gratis når kryssjekking blir en vane, siden betalt tilgang koster rundt 20 dollar i måneden per leverandør, og det er gapet et flermodellabonnement som Whizi lukker. Å bruke flere modeller sammen går gjennom arbeidsflyten.
Hvor det betyr noe, og hvor det virkelig ikke gjør det
En verifiseringsvane som gjelder for alt, kollapser i løpet av en uke. Det meste av det du spør om, har lav risiko og sjekker seg selv. Be om en kortere versjon av din egen e-post, og du kan se om den er kortere og om den fortsatt sier det du mente. Det samme gjelder idémyldring, navngiving, disponering, oversetting av en melding du skal lese før du sender den, eller å gjøre rotete notater om til en liste. Du er sjekken, og feilen dukker opp foran deg med en gang.
To spørsmål sorterer enhver oppgave i riktig bøtte, og de tar rundt tre sekunder å stille deg selv.
- Hvis dette er feil, hvem oppdager det, og når? Du, ti sekunder fra nå mens du leser det, eller en kunde, tre måneder fra nå?
- Kan jeg angre det? Å slette et dårlig avsnitt er gratis. Å levere en skattemelding på nytt, trekke tilbake et tilbud eller reversere en betaling er det ikke.
Hvis noen av svarene får deg til å nøle, verifiser hver eneste konkrete påstand før du handler. De klare medlemmene i den bøtta: medisinnavn og doser, juridiske frister og innleveringsfrister, skattetall, kontraktsvilkår, alt som berører noens helse eller oppholdsstatus, og kode som flytter penger eller håndterer personopplysninger. Et feil synonym i en e-post gjør deg litt merkelig i en dag. En feil dose eller en glipp frist er ikke noe AI-en tar seg av etterpå. Om AI er trygt å bruke dekker den siden mer i dybden, inkludert hva du aldri bør lime inn. Start med én vane: i det øyeblikket et svar inneholder et tall, et navn, en dato eller en lenke, behandle akkurat den delen som uverifisert og sjekk den. Resten er som regel greit.
- Behandle hvert tall, navn, dato og lenke i et svar som uverifisert til du sjekker det.
- Dropp «er du sikker?» som test, fordi press gir enighet, ikke rettelse.
- Be om kilder, åpne dem, og bekreft at siden faktisk sier det svaret hevdet.
- Still et viktig spørsmål på nytt i en ny samtale og se om detaljene holder seg like.
- Send faktaspørsmål til en annen modell fra et annet selskap før du stoler på dem.
- Skriv om ledende spørsmål slik at de ikke røper hvilket svar du vil ha.
- Spør hvem som oppdager det hvis dette er feil, og om du kan angre det, og verifiser deretter.
Vanlige spørsmål
Hva er en AI-hallusinasjon?
En hallusinasjon er et selvsikkert, velformulert svar som rett og slett ikke er sant: en oppdiktet statistikk, en kilde som ikke finnes, en funksjon et produkt aldri hadde. Navnet er uheldig, fordi ingenting blir innbilt. Systemet laget tekst som følger mønsteret til et korrekt svar, og i det tilfellet stemte ikke mønsteret og sannheten overens. Hva er en AI-hallusinasjon forklarer hvorfor modellen lager dem, og hva en annen modell fanger opp.
Hvorfor finner AI på ting i stedet for å si at den ikke vet?
Å si «jeg vet ikke» er bare ett av mange svar som passer et spørsmål, og et flytende svar passer som regel bedre. Modellen har ikke noe eget steg som sjekker et faktum før det lages, så det er ingenting som utløser en avvisning. Nyere modeller avstår oftere enn eldre, og å be direkte om «ingen anelse» når den ikke har noe, hjelper litt.
Kan man stole på AI-svar?
Stol på resonnementet, strukturen og selve skrivingen, som er der disse verktøyene virkelig er sterke. Ikke stol på detaljene uten å sjekke: tall, navn, datoer, sitater, kilder og alt nylig. Det skillet er den praktiske versjonen av tillit her, og det lar deg bruke AI daglig uten å bli brent.
Fikser det et feil svar å spørre «er du sikker?»
Sjelden, og det kan gjøre ting verre. Modeller har en tendens til å imøtekomme motstand, så de forlater ofte et riktig svar og bytter det ut med et svakere. En ny samtale med samme spørsmål er en mye bedre test, fordi det andre svaret lages uten presset fra tvilen din.
Hvordan sjekker jeg et AI-svar raskt?
Åpne kildene den ga deg, og bekreft at de sier det som ble hevdet. Hvis det ikke er noen kilder, still det samme spørsmålet i en ny samtale og se om detaljene holder seg. For alt faktabasert du planlegger å handle på, send det til en annen modell fra en annen leverandør, siden to systemer sjelden dikter opp den samme detaljen.