Proč AI lže a dává špatné odpovědi, a jak to odhalit dřív, než vás to stojí peníze

Nic v procesu neověřuje, že je odpověď pravdivá

Když se zeptáte AI chatbota na něco, nic nikde nevyhledává. Vytváří text, znak po znaku, který odpovídá vzoru, jakým bývá zapsaná správná odpověď na danou otázku. To je celý úkol. Odpovídat vzoru a být pravdivý jsou dva různé cíle, a nic v tomto procesu nemíří na ten druhý.

Většinu času si toho nevšimnete, protože se oba cíle překrývají. Text, ze kterého se tyto systémy učily, psali převážně lidé, kteří měli většinou pravdu, takže text vypadající jako odpověď je obvykle i text pravdivý. Překryv se ztenčuje na okrajích: u faktů, které jsou vzácné, nedávné, velmi konkrétní, nebo prostě chybí v tom, co model četl. Na těchto okrajích je stále snadné vytvořit tvar správné odpovědi. Vytvořit její obsah už ne. Dostanete větu postavenou jako fakt, s číslem na správném místě a věrohodně znějícím jménem, popisující něco, co se nikdy nestalo.

To také vysvětluje, proč selhává očividná další otázka. "Jsi si jistý?" působí jako kontrola. Není. Souhlas odpovídá vzoru užitečné odpovědi, takže tlak obvykle vede k souhlasu, a model se často omluví a nahradí správnou odpověď horší. Vyzkoušejte to za dvě minuty: zeptejte se na něco, co už znáte, přijměte správnou odpověď, pak řekněte "to mi nesedí" a sledujte, co se stane. Vrátí se stejné soukolí generující souhlasný text. Základní verzi toho, jak je to celé postavené, bez matematiky, popisuje co je to vlastně AI.

Pět míst, kde chybuje nejčastěji

Chyby nejsou rozprostřené rovnoměrně na všechno, na co se můžete zeptat. Kupí se. Naučit se pět shluků vám dá malý vnitřní alarm, který se spustí ve správnou chvíli, což má větší cenu než obecný pocit opatrnosti, který zvoní neustále a pak přestane zvonit úplně.

Kde to uklouzne	Jak to vypadá	Příklad na jeden řádek
Konkrétní fakta a čísla	Přesné číslo, za kterým nic nestojí	Řekne vám, že místní obchod otevřel v roce 1987, přitom otevřel v roce 1994
Citace, cituje, odkazy	Věrohodně znějící názvy, věrohodně vypadající URL, žádná se nenačte	Studie od dvou skutečných výzkumníků, ve skutečném časopise, která nikdy nebyla napsána
Cokoliv po datu ukončení trénování	Sebejisté odpovědi o světě, který se před měsíci zastavil	Cituje loňskou cenu předplatného u plánu, který se změnil v březnu
Aritmetika a počítání	Správný postup, špatný součet	Sečte jedenáct položek na faktuře a spletě se o 40 dolarů
Otázky, které v sobě nesou vlastní odpověď	Souhlas přestrojený za analýzu	"Proč je X lepší volba?" vrátí argumenty pro X a nikdy je nezpochybní

Řádek s citacemi má na sobě slavnou cenovku. V červnu 2023 federální soudce udělil pokutu $5,000 dvěma newyorským právníkům a jejich firmě za podání s odvoláním na šest soudních případů, které si ChatGPT vymyslel, včetně jmen, citací a citovaných pasáží (Mata v. Avianca). Poslední řádek si ale způsobíte sami, a v praxi je nejčastější. Otázka "proč je X lepší než Y" téměř zaručeně přinese argumenty pro X, a otázka obsahující "jistě" nebo "není pravda, že" obvykle dostane odpověď ano. Zkuste místo toho: "Porovnej X a Y pro tuto situaci a pak mi dej nejsilnější argument proti tomu, který sis vybral." Formulovat otázky tak, aby v sobě nepašovaly odpověď, je polovina toho, čemu se říká prompting, a zbytek popisuje jak mluvit s AI. Ještě jedna zvláštnost, kterou je dobré znát včas. Ve velmi dlouhé konverzaci, nebo po vložení velmi dlouhého dokumentu, mohou detaily ze začátku modelu vypadnout z dohledu, a on díru raději zaplní, než aby přiznal, že ztratil nit. Je to limit kapacity, ne problém s pravdou, a co je to kontextové okno vysvětluje, kde ten strop leží.

Sebejistý tón není blaf

Většina lidí sem přichází s rozumným předpokladem: ta věc ví, jak moc si je jistá, a pochybnost skrývá, aby vypadala kompetentně. Ten předpoklad je špatný, a záleží na tom, protože vás pošle hledat signál jistoty, který tam nikdy nebyl.

Žádný ukazatel jistoty před vámi tajen není. Systém nesedí na soukromém čísle, které ukazuje 62 procent, a nevolí si vyznít jako 100. Špatnou odpověď generuje stejným procesem, stejně plynule, jako správnou. Právě proto je tón zde jako signál k ničemu, jinak než u lidí. I fráze jako "nejsem si úplně jistý, ale" je stejně tak generovaný text. Objeví se, protože taková formulace odpovídá vzoru otázek tohoto typu. Žádný vnitřní alarm se nespustil. Požádejte model, ať ohodnotí vlastní jistotu na deset bodů, a dostanete číslo, často vysoké, přímo vedle citace, kterou si vymyslel. Hodnocení vzniklo stejným procesem jako ta citace.

Takže pokyny typu "odpověz jen pokud si jsi jistý" nebo "nic si nevymýšlej" pomáhají méně, než lidé doufají. Přidat k důležité otázce "pokud nevíš, řekni, že nevíš" se přesto vyplatí, protože novější modely odmítají odpovědět častěji než dřív, ale berte to jako pobídku, ne záruku. Spolehlivější verze té myšlenky míří ven: ať odpověď ukáže něco, co si můžete sami otevřít. Když aplikace prohledá web a připojí odkazy, můžete si stránku sami přečíst a přestat věřit jejímu slovu. Když odpovídá jen z paměti, jeho slovo je vše, co máte.

Čtyři kontroly, seřazené od nejlevnější

Neověříte všechno, a snaha o to skončí tím, že neověříte nic. Chcete kontrolu, která stojí méně než samotná chyba. Tyto čtyři jdou od téměř zdarma po mírně otravné, a u většiny otázek stačí ta první, po které sáhnete.

1. Požádejte o zdroje, pak je otevřete. Ne "cituj své zdroje" jako rituál. Klikněte na ně. Mrtvý odkaz, nebo živá stránka, která tvrzení neobsahuje, vyřeší otázku za deset vteřin.
2. Zeptejte se znovu v nové konverzaci. Stejná otázka, nová konverzace, žádná předchozí výměna. Pokud se čísla, jména nebo data vrátí jinak, model spíš zaplňoval mezery než si něco pamatoval. Nic to nestojí a odhalí to překvapivě velký podíl vymyšlených detailů.
3. Zeptejte se jiného modelu. Nejcennější kontrola pro faktické otázky. Vložte stejnou otázku druhému poskytovateli a porovnejte konkrétní detaily, ne tón.
4. Vyhledejte to běžným způsobem. U všeho, co pošlete, podepíšete, zveřejníte nebo za to zaplatíte, věnujte devadesát vteřin vyhledávači. AI je vynikající první krok. První krok není ověření.

Bod tři si své místo zaslouží. Dva modely od různých firem, trénované na jiných datech jinými metodami, se můžou u stejné otázky mýlit oba. Jen velmi zřídka si ale vymyslí stejný chybný detail, protože smyšlený konkrétní údaj vychází z konkrétních mezer jednoho konkrétního systému. Když vám Claude a ChatGPT nezávisle na sobě dají stejné číslo, to číslo je pravděpodobně skutečné. Když se neshodnou, našli jste přesně tu větu, kterou stojí za to ověřit, a to je lepší než neurčitý pocit, že s odpovědí něco nesedí. Pro občasnou kontrolu stačí bezplatné verze dvou poskytovatelů a nic to nestojí. Přestává to být zadarmo, jakmile se křížové ověřování stane zvykem, protože placený přístup vychází zhruba na 20 dolarů měsíčně za poskytovatele, a přesně tuhle mezeru zaplňuje předplatné s více modely, jako je Whizi. Používání více modelů společně provede celým postupem.

Kde na tom záleží, a kde vůbec ne

Návyk ověřovat úplně všechno se zhroutí do týdne. Většina toho, na co se ptáte, je nízkoriziková a sama se kontroluje. Požádejte o kratší verzi vlastního e-mailu a hned uvidíte, jestli je kratší a jestli pořád říká, co jste chtěli. Stejné to je s brainstormingem, pojmenováváním věcí, osnovami, koncepty, překladem zprávy, kterou si přečtete před odesláním, nebo přeměnou zmatených poznámek na seznam. Kontrolu děláte vy sami a chyba se objeví přímo před vámi hned.

Dvě otázky roztřídí jakýkoli úkol do správné přihrádky a zabere to asi tři vteřiny.

1. Pokud je to špatně, kdo na to přijde a kdy? Vy, za deset vteřin při čtení, nebo klient, za tři měsíce?
2. Dá se to vrátit zpět? Smazat špatný odstavec je zadarmo. Přepodat daňové přiznání, stáhnout nabídku nebo vrátit platbu ne.

Pokud vás u jedné z otázek zarazí odpověď, ověřte každé konkrétní tvrzení dřív, než začnete jednat. Jasní kandidáti do té přihrádky: názvy a dávkování léků, právní a podací lhůty, daňové údaje, smluvní podmínky, cokoliv týkající se něčího zdraví nebo imigračního statusu, a kód, který hýbe penězi nebo pracuje s osobními údaji. Špatné synonymum v e-mailu vás na den udělá trochu divným. Špatné dávkování nebo zmeškaná lhůta není něco, co AI vyřeší za vás dodatečně. Zda je AI bezpečné používat rozebírá tuhle stránku podrobněji, včetně toho, co byste tam nikdy neměli vkládat. Začněte jedním návykem: jakmile odpověď obsahuje číslo, jméno, datum nebo odkaz, považujte právě tuto část za neověřenou a zkontrolujte ji. Zbytek bývá v pořádku.