Waarom geeft AI verkeerde antwoorden, en hoe je ze op tijd doorhebt

Het mechanisme, zonder het jargon

Als je een AI-chatbot een vraag stelt, zoekt hij niets op. Hij produceert tekst, een paar tekens per keer, die past bij het patroon van hoe een correct antwoord op zo'n vraag doorgaans wordt geschreven. Dat is de hele taak. Bij het patroon passen en waar zijn, zijn twee verschillende doelen, en niets in het proces mikt op het tweede.

Meestal merk je er niets van, want de twee doelen overlappen. De tekst waarvan deze systemen leerden, is grotendeels geschreven door mensen die meestal gelijk hadden, dus tekst met de vorm van een antwoord is doorgaans ook correcte tekst. Aan de randen wordt die overlap dun: feiten die zeldzaam zijn, recent, heel specifiek, of simpelweg ontbraken in wat het model las. Aan die randen blijft de vorm van een goed antwoord produceren makkelijk. De inhoud ervan produceren is dat niet. Wat je krijgt is een zin die is opgebouwd als een feit, met een getal op de juiste plek en een geloofwaardig ogende naam eraan vast, die iets beschrijft dat nooit is gebeurd.

Dit verklaart ook waarom de voor de hand liggende vervolgvraag niets oplevert. "Weet je het zeker?" vragen voelt als een controle. Dat is het niet. Instemmen past bij het patroon van een behulpzaam antwoord, dus druk levert vooral instemming op, en een model biedt vaak excuses aan en vervangt een correct antwoord door een slechter antwoord. Test het in twee minuten: vraag iets wat je al weet, accepteer het juiste antwoord, zeg dan "dat klinkt niet goed" en kijk wat er gebeurt. Wat terugkomt is dezelfde machinerie die meegaande tekst genereert, geen tweede mening. Voor de basisversie van hoe dit allemaal gebouwd is, legt wat AI eigenlijk is het uit zonder wiskunde.

De vijf plekken waar het het vaakst misgaat

Fouten zijn niet gelijkmatig verdeeld over alles wat je zou kunnen vragen. Ze klonteren samen. De vijf clusters leren kennen geeft je een klein intern alarm dat op het juiste moment afgaat, en dat is meer waard dan een algemeen gevoel van voorzichtigheid dat constant afgaat en daarna helemaal niet meer.

Waar het misgaat	Hoe het eruitziet	Voorbeeld in één regel
Specifieke feiten en cijfers	Een precies getal zonder iets erachter	Zegt dat een winkel in 1987 opende terwijl het 1994 was
Bronnen, citaten, links	Titels en URL's die echt lijken, maar niets laadt	Een studie van twee echte onderzoekers, in een echt tijdschrift, nooit geschreven
Alles na de trainingsdatum	Stellige antwoorden over een wereld die maanden geleden stopte	Noemt de abonnementsprijs van vorig jaar voor een plan dat in maart wijzigde
Rekenen en tellen	Juiste methode, verkeerd totaal	Telt elf factuurregels op en zit er 40 dollar naast
Vragen die hun eigen antwoord bevatten	Instemming vermomd als analyse	"Waarom is X de betere keuze?" levert het pleidooi voor X en twijfelt nooit

Die laatste rij veroorzaak je zelf, en in de praktijk komt hij het vaakst voor. Vragen "waarom is X beter dan Y" garandeert bijna een pleidooi voor X, en een vraag met "toch" of "is het niet zo dat" krijgt meestal een ja. Vraag dit in plaats daarvan: "Vergelijk X en Y voor deze situatie en geef me daarna het sterkste argument tegen degene die je koos." Vragen zo formuleren dat ze het antwoord er niet in smokkelen is de helft van wat mensen prompten noemen, en hoe je met AI praat behandelt de andere helft. Nog een eigenaardigheid die je vroeg wilt kennen. In een heel lang gesprek, of nadat je een heel lang document plakt, kunnen details van het begin uit het zicht van het model glippen, en dan vult het het gat in plaats van te zeggen dat het de draad kwijt is. Dat is een capaciteitsgrens en geen waarheidsprobleem, en wat een contextvenster is legt uit waar dat plafond ligt.

De stellige toon is geen bluf

De meeste mensen komen hier binnen met een redelijke aanname: het ding weet hoe zeker het is en verbergt de twijfel om competent over te komen. Die aanname klopt niet, en dat maakt uit, want ze stuurt je op jacht naar een signaal van zekerheid dat er nooit geweest is.

Er wordt geen zekerheidsmeter voor je achtergehouden. Het systeem zit niet op een privégetal dat 62 procent aangeeft en kiest er niet voor om als 100 te klinken. Het genereert een fout antwoord via hetzelfde proces, even vloeiend, als een goed antwoord. Precies daarom is toon hier waardeloos als signaal, op een manier die bij mensen niet opgaat. Een slag om de arm zoals "ik weet het niet helemaal zeker, maar" is net zo goed gegenereerde tekst. Die verschijnt omdat die formulering past bij vragen van die vorm, niet omdat er ergens binnenin een waarschuwing afging. Vraag een model om zijn eigen zekerheid een cijfer van tien te geven en je krijgt een cijfer, vaak een hoog cijfer, pal naast een bron die het zelf verzon. Die beoordeling kwam uit hetzelfde proces als die bron.

Instructies als "antwoord alleen als je zeker bent" of "verzin niets" helpen dus minder dan mensen hopen. "Zeg dat je het niet weet als je het niet weet" toevoegen aan een belangrijke vraag blijft de moeite waard, want nieuwere modellen haken makkelijker af dan vroeger, maar zie het als een duwtje en niet als een garantie. De betrouwbare versie van dat idee wijst naar buiten: laat het antwoord je iets tonen dat je kunt openen. Als een app het web doorzoekt en links meestuurt, kun je de pagina zelf lezen en hoef je niets meer op zijn woord aan te nemen. Als hij puur uit zijn geheugen antwoordt, is zijn woord alles wat je hebt.

Vier checks, op volgorde van hoe weinig ze kosten

Je gaat niet alles verifiëren, en het proberen eindigt ermee dat je niets verifieert. Wat je wilt is een check die minder kost dan de fout zou kosten. Deze vier lopen van bijna gratis tot licht irritant, en voor de meeste vragen is de eerste die je pakt genoeg.

1. Vraag om bronnen en open ze dan ook. Niet "noem je bronnen" als ritueel. Klik erop. Een dode link, of een werkende pagina die de bewering niet bevat, beslist de zaak in ongeveer tien seconden.
2. Stel de vraag opnieuw in een nieuwe chat. Dezelfde vraag, nieuw gesprek, zonder het eerdere heen en weer. Als de cijfers, namen of datums anders terugkomen, vulde het model gaten in plaats van iets op te halen. Dit kost niets en vangt een verrassend deel van de verzonnen details.
3. Leg het voor aan een ander model. De check met de meeste waarde bij feitelijke vragen. Plak dezelfde vraag bij een tweede aanbieder en vergelijk de details, niet de toon.
4. Zoek het op de gewone manier op. Voor alles wat je verstuurt, ondertekent, publiceert of waar je geld aan uitgeeft: geef het negentig seconden in een zoekmachine. AI is een uitstekende eerste ronde. Een eerste ronde is geen verificatie.

Punt drie verdient zijn plek. Twee modellen van verschillende bedrijven, getraind op andere data met andere methodes, kunnen allebei fout zitten bij dezelfde vraag. Ze verzinnen zelden hetzelfde verkeerde detail, want een verzonnen detail komt voort uit de specifieke gaten in één specifiek systeem. Als Claude en ChatGPT je onafhankelijk van elkaar hetzelfde getal geven, is dat getal waarschijnlijk echt. Als ze het oneens zijn, heb je precies de zin gevonden die controle verdient, en dat is beter dan een vaag gevoel dat er iets aan het antwoord niet klopt. Voor een enkele check zijn de gratis versies van twee aanbieders genoeg en kosten ze niets. Het houdt op gratis te zijn zodra kruiscontrole een gewoonte wordt, want betaalde toegang kost ongeveer 20 dollar per maand per aanbieder, en dat is het gat dat een multimodel-abonnement als Whizi dicht. Meerdere modellen samen gebruiken loopt de werkwijze stap voor stap door.

Waar het uitmaakt, en waar echt niet

Een verificatiegewoonte die voor alles geldt, stort binnen een week in. Het meeste wat je vraagt heeft lage inzet en controleert zichzelf. Vraag om een kortere versie van je eigen e-mail en je ziet zelf of hij korter is en of hij nog steeds zegt wat je bedoelde. Hetzelfde geldt voor brainstormen, dingen benoemen, een opzet maken, een concept schrijven, een bericht vertalen dat je toch leest voor je het verstuurt, of rommelige aantekeningen omzetten in een lijst. Jij bent de check, en de fout verschijnt meteen voor je neus.

Twee vragen sorteren elke taak in de juiste bak, en het kost ongeveer drie seconden om ze jezelf te stellen.

1. Als dit fout is, wie komt daar dan achter, en wanneer? Jij, over tien seconden tijdens het lezen, of een klant, over drie maanden?
2. Kan ik het terugdraaien? Een slechte alinea verwijderen is gratis. Een belastingaangifte opnieuw indienen, een offerte terughalen of een betaling terugdraaien is dat niet.

Als een van beide antwoorden je doet aarzelen, controleer dan elke concrete bewering voordat je handelt. De duidelijke leden van die bak: medicijnnamen en doseringen, juridische termijnen en indieningsdeadlines, belastingcijfers, contractvoorwaarden, alles wat iemands gezondheid of verblijfsstatus raakt, en code die geld verplaatst of persoonsgegevens verwerkt. Een verkeerd synoniem in een e-mail laat je een dag lang een beetje raar overkomen. Een verkeerde dosering of een gemiste deadline lost de AI daarna niet voor je op. Of AI veilig is om te gebruiken behandelt die kant uitgebreider, inclusief wat je er nooit in moet plakken. Begin met één gewoonte: zodra een antwoord een getal, een naam, een datum of een link bevat, behandel je juist dat deel als niet geverifieerd en controleer je het. De rest is meestal prima.