Intet i processen tjekker om svaret er sandt
Når du stiller en AI-chatbot et spørgsmål, slår den ikke noget op. Den producerer tekst, et par tegn ad gangen, der passer til mønsteret for hvordan et korrekt svar på det spørgsmål plejer at være skrevet. Det er hele opgaven. At passe mønsteret og være sandt er to forskellige mål, og intet i processen sigter efter det sidste.
Det meste af tiden lægger du ikke mærke til det, fordi de to mål overlapper. Teksten disse systemer har lært af, blev for det meste skrevet af mennesker der for det meste havde ret, så tekst der ligner et svar, plejer også at være korrekt tekst. Overlappet bliver tyndere i kanterne: fakta der er sjældne, nye, meget specifikke, eller ganske enkelt fraværende fra det modellen har læst. I de kanter er det stadig let at producere formen af et korrekt svar. Indholdet er det ikke. Det du får, er en sætning bygget som et faktum, med et tal på rette plads og et troværdigt navn hæftet på, der beskriver noget der aldrig er sket.
Det forklarer også hvorfor det oplagte opfølgende spørgsmål ikke virker. At spørge "er du sikker?" føles som en kontrol. Det er det ikke. Enighed passer til mønsteret for et hjælpsomt svar, så pres har en tendens til at fremkalde enighed, og en model vil ofte undskylde og erstatte et korrekt svar med et dårligere. Test det på to minutter: spørg om noget du allerede ved, godtag det rigtige svar, og sig så "det lyder ikke rigtigt" og se hvad der sker. Det du får igen, er det samme maskineri der genererer imødekommende tekst. For den grundlæggende version af hvordan noget af dette er bygget, dækker hvad AI egentlig er det uden matematik.
De fem steder det oftest går galt
Fejl er ikke jævnt fordelt over alt du kan spørge om. De hober sig op. At kende de fem grupper giver dig en lille indre alarm der går i gang på det rigtige tidspunkt, hvilket er mere værd end en generel forsigtighed der lyder konstant og så holder op med at lyde overhovedet.
| Hvor det glipper | Sådan ser det ud | Et eksempel på en linje |
|---|---|---|
| Specifikke fakta og tal | Et præcist tal uden noget bag ved | Fortæller dig at en lokal butik åbnede i 1987, når den åbnede i 1994 |
| Kilder, citater, links | Ægte-lydende titler, ægte-udseende URL'er, ingen af dem virker | En undersøgelse af to virkelige forskere, i et virkeligt tidsskrift, som aldrig blev skrevet |
| Alt efter dens træningsskæringsdato | Selvsikre svar om en verden der stoppede for måneder siden | Citerer sidste års abonnementspris for en plan der ændrede sig i marts |
| Regnestykker og optælling | Rigtig metode, forkert facit | Lægger elleve fakturalinjer sammen og lander 40 dollars ved siden af |
| Spørgsmål der bærer deres eget svar | Enighed forklædt som analyse | "Hvorfor er X det bedre valg?" giver argumenterne for X og stiller aldrig spørgsmål ved det |
Rækken om kilder bærer en berømt prisseddel. I juni 2023 idømte en amerikansk føderal dommer to advokater fra New York og deres firma en bøde på $5,000 for at have indleveret et retsdokument bygget på seks retssager som ChatGPT havde opfundet, komplet med navne, kilder og citerede passager (Mata v. Avianca). Den sidste række er dog den du selv skaber, og den er den mest almindelige i praksis. At spørge "hvorfor er X bedre end Y" giver næsten garanteret et argument for X, og et spørgsmål der indeholder "sikkert" eller "er det ikke rigtigt at" får som regel et ja. Spørg i stedet: "Sammenlign X og Y til denne situation, og giv mig så det stærkeste argument imod den du valgte." At formulere spørgsmål så de ikke smugler svaret ind, er halvdelen af det folk kalder prompting, og sådan taler du til AI dækker resten. Endnu et kuriosum værd at kende tidligt. I en meget lang samtale, eller efter du indsætter et meget langt dokument, kan detaljer fra starten glide ud af modellens synsfelt, og den vil udfylde hullet i stedet for at fortælle dig at den mistede tråden. Det er en kapacitetsgrænse snarere end et sandhedsproblem, og hvad et kontekstvindue er forklarer hvor loftet ligger.
Den selvsikre tone er ikke et bluff
De fleste kommer hertil med en rimelig antagelse: tingen ved hvor sikker den er og skjuler tvivlen for at virke kompetent. Den antagelse er forkert, og det betyder noget, fordi den sender dig ud og leder efter et sikkerhedssignal der aldrig var der.
Der findes ikke et sikkerhedsmål der bliver holdt tilbage fra dig. Systemet sidder ikke på et privat tal der lyder 62 procent og vælger at lyde som 100. Det genererer et forkert svar gennem den samme proces, med samme flydende sprog, som et korrekt svar. Det er netop derfor tonen er værdiløs som signal her, på en måde den ikke er med mennesker. En forbeholden bemærkning som "jeg er ikke helt sikker, men" er også genereret tekst. Den dukker op fordi den formulering passer til spørgsmål af den type. Ingen indre advarsel gik i gang. Bed en model om at vurdere sin egen sikkerhed på en skala fra et til ti, og du får et tal, ofte et højt et, placeret lige ved siden af en kilde den fandt på. Vurderingen blev produceret af den samme proces som kilden.
Så instrukser som "svar kun hvis du er sikker" eller "find ikke på noget" hjælper mindre end folk håber. At tilføje "sig at du ikke ved det, hvis du ikke ved det" til et vigtigt spørgsmål er stadig værd at gøre, siden nyere modeller afslår oftere end de plejede, men betragt det som et skub og ikke en garanti. Den pålidelige version af den idé peger udad: få svaret til at vise dig noget du selv kan åbne. Når en app søger på nettet og vedhæfter links, kan du læse siden selv og stoppe med at tage dens ord for noget som helst. Når den svarer ud fra hukommelsen alene, er dens ord alt du har.
Fire tjek, i rækkefølge efter hvor lidt de koster
Du kommer ikke til at verificere alt, og hvis du prøver, ender du med at verificere ingenting. Det du vil have, er et tjek der koster mindre end fejlen ville koste. Disse fire går fra næsten gratis til lidt irriterende, og til de fleste spørgsmål er det første du griber til, nok.
- Bed om kilder, og åbn dem. Ikke "citer dine kilder" som en ritual. Klik på dem. Et dødt link, eller en levende side der ikke indeholder påstanden, afgør sagen på cirka ti sekunder.
- Spørg igen i en ny chat. Samme spørgsmål, ny samtale, uden noget af den tidligere frem og tilbage. Kommer tallene, navnene eller datoerne tilbage anderledes, udfyldte modellen huller i stedet for at huske noget. Det koster ingenting og fanger en overraskende stor del af opfundne detaljer.
- Spørg en anden model. Det enkeltvis mest værdifulde tjek for faktuelle spørgsmål. Indsæt samme spørgsmål hos en anden udbyder og sammenlign detaljerne, ikke tonen.
- Søg efter det på den almindelige måde. For alt du vil sende, underskrive, udgive eller bruge penge på, så brug halvfemsindstyve sekunder i en søgemaskine. AI er et fremragende første udkast. Et første udkast er ikke verifikation.
Punkt tre gør sig fortjent til sin plads. To modeller bygget af forskellige firmaer, trænet på forskellige data med forskellige metoder, kan begge tage fejl af samme spørgsmål. De opfinder meget sjældent den samme forkerte detalje, fordi en opdigtet specifik detalje kommer ud af de særlige huller i ét bestemt system. Når Claude og ChatGPT uafhængigt af hinanden giver dig samme tal, er det tal sandsynligvis rigtigt. Når de er uenige, har du fundet præcis den sætning der er værd at tjekke, hvilket slår en vag fornemmelse af at noget i svaret er galt. Til det lejlighedsvise tjek er de gratis niveauer hos to udbydere nok og koster ingenting. Det holder op med at være gratis, når krydstjek bliver en vane, siden betalt adgang løber op i cirka 20 dollars om måneden per udbyder, og det er hullet et multimodel-abonnement som Whizi lukker. Sådan bruger du flere modeller sammen gennemgår arbejdsgangen.
Hvor det betyder noget, og hvor det virkelig ikke gør
En verifikationsvane der gælder for alt, kollapser inden for en uge. Det meste af det du spørger om, er lav risiko og selvkontrollerende. Bed om en kortere version af din egen e-mail, og du kan selv se om den er kortere, og om den stadig siger det du mente. Det samme gælder brainstorming, navngivning, disponering, oversættelse af en besked du selv læser før afsendelse, eller omdannelse af rodede noter til en liste. Du er selv tjekket, og fejlen dukker op foran dig med det samme.
To spørgsmål sorterer enhver opgave i den rigtige kategori, og de tager cirka tre sekunder at stille dig selv.
- Hvis dette er forkert, hvem opdager det, og hvornår? Dig, ti sekunder fra nu mens du læser det, eller en kunde, tre måneder fra nu?
- Kan jeg fortryde det? At slette et dårligt afsnit er gratis. At genindsende en selvangivelse, trække et tilbud tilbage eller omgøre en betaling er det ikke.
Hvis et af svarene får dig til at stoppe op, så verificer hver eneste konkrete påstand før du handler. De klare medlemmer af den kategori: medicinnavne og doser, juridiske og indberetningsmæssige frister, skattetal, kontraktvilkår, alt der berører nogens helbred eller opholdsstatus, og kode der flytter penge eller håndterer personlige data. Et forkert synonym i en e-mail får dig til at fremstå lidt underlig i en dag. En forkert dosis eller en misset frist er ikke noget AI'en tager sig af bagefter. Om AI er sikker at bruge dækker den side mere i dybden, inklusive hvad du aldrig bør indsætte. Start med én vane: i det øjeblik et svar indeholder et tal, et navn, en dato eller et link, så betragt kun den del som uverificeret og tjek den. Resten er som regel fint.
- Betragt hvert tal, navn, dato og link i et svar som uverificeret, indtil du tjekker det.
- Drop "er du sikker?" som test, fordi pres fremkalder enighed frem for rettelse.
- Bed om kilder, åbn dem, og bekræft at siden rent faktisk siger det svaret påstod.
- Spørg et vigtigt spørgsmål igen i en ny chat, og se om detaljerne forbliver de samme.
- Stil faktuelle spørgsmål til en anden model fra et andet firma, før du stoler på dem.
- Omskriv ledende spørgsmål, så de ikke fortæller modellen hvilket svar du vil have.
- Spørg hvem der opdager det hvis dette er forkert, og om du kan fortryde det, og verificer derefter.
Ofte stillede spørgsmål
Hvad er en AI-hallucination?
En hallucination er et selvsikkert, velformuleret svar der bare ikke er sandt: en opdigtet statistik, en kilde der ikke findes, en funktion et produkt aldrig havde. Navnet er uheldigt, for der bliver ikke forestillet noget. Systemet producerede tekst der passer til mønsteret for et korrekt svar, og i det tilfælde stemte mønsteret og sandheden ikke overens. Hvad er en AI-hallucination dækker hvorfor modellen producerer dem, og hvad en anden model fanger.
Hvorfor finder AI på ting i stedet for at sige den ikke ved det?
At sige "det ved jeg ikke" er bare et af mange svar der passer til et spørgsmål, og et flydende svar passer som regel bedre. Modellen har intet separat trin der tjekker et faktum, før det produceres, så der er ikke noget der udløser et afslag. Nyere modeller afslår oftere end ældre, og at spørge direkte om et "ved ikke", når den ikke ved det, hjælper faktisk lidt.
Kan man stole på AI-svar?
Stol på ræsonnementet, strukturen og udformningen, hvor disse værktøjer virkelig er stærke. Stol ikke på detaljerne uden at tjekke dem: tal, navne, datoer, citater, kilder og alt nyt. Den opdeling er den praktiske version af tillid her, og den lader dig bruge AI dagligt uden at blive brændt.
Retter det et forkert svar at spørge "er du sikker?"?
Sjældent, og det kan gøre det værre. Modeller har en tendens til at give efter for modstand, så de opgiver ofte et korrekt svar og erstatter det med et svagere. En ny chat med samme spørgsmål er en meget bedre test, fordi det andet svar genereres uden presset fra din tvivl.
Hvordan tjekker jeg hurtigt et AI-svar?
Åbn eventuelle kilder den gav dig, og bekræft at de siger det der blev påstået. Hvis der ikke er kilder, så spørg samme spørgsmål i en ny chat, og se om detaljerne holder. For alt faktuelt du planlægger at handle på, så stil det til en anden model fra en anden udbyder, siden to systemer sjældent opfinder den samme detalje.