Dlaczego AI się myli i jak wyłapać błąd, zanim cię zaboli

Mechanizm, bez żargonu

Gdy zadajesz chatbotowi AI pytanie, on niczego nie wyszukuje. Produkuje tekst, po kilka znaków naraz, który pasuje do wzorca tego, jak zwykle pisze się poprawną odpowiedź na takie pytanie. To całe zadanie. Pasowanie do wzorca i bycie prawdą to dwa różne cele, a nic w tym procesie nie celuje w ten drugi.

Najczęściej tego nie zauważasz, bo te dwa cele się pokrywają. Tekst, z którego te systemy się uczyły, napisali w większości ludzie, którzy w większości mieli rację, więc tekst o kształcie odpowiedzi jest zwykle też tekstem poprawnym. Pokrycie robi się cienkie na obrzeżach: przy faktach rzadkich, świeżych, bardzo szczegółowych albo po prostu nieobecnych w tym, co model przeczytał. Na tych obrzeżach wyprodukowanie kształtu dobrej odpowiedzi nadal jest łatwe. Wyprodukowanie jej treści już nie. Dostajesz zdanie zbudowane jak fakt, z liczbą we właściwej szczelinie i wiarygodnie wyglądającym nazwiskiem, opisujące coś, co nigdy się nie wydarzyło.

To tłumaczy też, dlaczego oczywiste pytanie uzupełniające zawodzi. Pytanie "jesteś pewien?" wydaje się audytem. Nie jest nim. Zgoda pasuje do wzorca pomocnej odpowiedzi, więc presja zwykle produkuje zgodę, a model często przeprasza i zastępuje poprawną odpowiedź gorszą. Sprawdź to w dwie minuty: zapytaj o coś, co już wiesz, przyjmij poprawną odpowiedź, a potem powiedz "to nie brzmi dobrze" i obserwuj. To, co wraca, to ta sama maszyneria generująca ugodowy tekst, a nie druga opinia. Po wersję parterową tego, jak to wszystko jest zbudowane, zajrzyj do czym właściwie jest AI, gdzie obywa się to bez matematyki.

Pięć miejsc, w których myli się najczęściej

Błędy nie rozkładają się równo po wszystkim, o co możesz zapytać. Zbierają się w grupy. Nauczenie się tych pięciu grup daje ci mały wewnętrzny alarm, który włącza się w odpowiednim momencie, a to warte więcej niż ogólna czujność, która wyje bez przerwy, a potem przestaje wyć w ogóle.

Gdzie się potyka	Jak to wygląda	Przykład w jednej linijce
Konkretne fakty i liczby	Precyzyjna wartość bez niczego za nią	Mówi, że lokalny sklep otwarto w 1987 roku, a otwarto go w 1994
Przypisy, cytaty, linki	Prawdziwie brzmiące tytuły, prawdziwie wyglądające adresy, żaden się nie otwiera	Badanie dwóch istniejących naukowców w istniejącym czasopiśmie, którego nikt nie napisał
Wszystko po dacie granicznej treningu	Pewne odpowiedzi o świecie, który zatrzymał się miesiące temu	Podaje zeszłoroczną cenę abonamentu, który zmienił się w marcu
Rachunki i liczenie	Dobra metoda, zła suma	Sumuje jedenaście pozycji faktury i wychodzi mu 40 dolarów obok
Pytania niosące własną odpowiedź	Zgoda przebrana za analizę	"Dlaczego X jest lepszym wyborem?" zwraca argumenty za X i nigdy tego nie kwestionuje

Ostatni wiersz powodujesz sam i jest najczęstszy w prawdziwym użyciu. Pytanie "dlaczego X jest lepsze od Y" niemal gwarantuje wywód na rzecz X, a pytanie zawierające "chyba" albo "czy to nie prawda, że" zwykle dostaje tak. Zapytaj zamiast tego: "Porównaj X i Y w tej sytuacji, a potem podaj najmocniejszy argument przeciwko temu, które wybrałeś". Formułowanie pytań tak, żeby nie przemycały odpowiedzi, to połowa tego, co ludzie nazywają promptowaniem, a jak rozmawiać z AI obejmuje resztę. Jeszcze jedna osobliwość warta poznania na starcie. W bardzo długiej rozmowie albo po wklejeniu bardzo długiego dokumentu szczegóły z początku mogą wypaść modelowi z pola widzenia, a on zapełni dziurę, zamiast powiedzieć, że zgubił wątek. To ograniczenie pojemności, a nie problem z prawdą, i czym jest okno kontekstowe wyjaśnia, gdzie leży ten sufit.

Pewny siebie ton nie jest blefem

Większość ludzi przychodzi tu z rozsądnym założeniem: ta rzecz wie, jak bardzo jest pewna, i ukrywa wątpliwość, żeby wyglądać kompetentnie. To założenie jest błędne i ma to znaczenie, bo wysyła cię na polowanie za sygnałem pewności, którego nigdy tam nie było.

Nie ma miernika pewności, który by ci zatajano. System nie siedzi na prywatnej liczbie pokazującej 62 procent, wybierając brzmienie na 100. Generuje błędną odpowiedź tym samym procesem i z tą samą płynnością co poprawną. Właśnie dlatego ton jest tu bezwartościowy jako sygnał, inaczej niż u ludzi. Zastrzeżenie w rodzaju "nie jestem całkowicie pewien, ale" też jest wygenerowanym tekstem. Pojawia się, bo takie sformułowanie pasuje do pytań tego kształtu, a nie dlatego, że coś w środku uruchomiło ostrzeżenie. Poproś model o ocenę własnej pewności w skali do dziesięciu, a dostaniesz liczbę, często wysoką, stojącą tuż obok przypisu, który sam wymyślił. Ta ocena powstała w tym samym procesie co przypis.

Dlatego polecenia w rodzaju "odpowiadaj tylko wtedy, gdy jesteś pewien" albo "niczego nie zmyślaj" pomagają mniej, niż ludzie liczą. Dopisanie "powiedz, że nie wiesz, jeśli nie wiesz" do ważnego pytania nadal warto stosować, bo nowsze modele odmawiają chętniej niż kiedyś, ale traktuj to jak podpowiedź, a nie gwarancję. Niezawodna wersja tego pomysłu kieruje się na zewnątrz: spraw, żeby odpowiedź pokazała ci coś, co możesz otworzyć. Gdy aplikacja przeszukuje internet i dołącza linki, możesz sam przeczytać stronę i przestać wierzyć jej na słowo. Gdy odpowiada wyłącznie z pamięci, jej słowo to wszystko, co masz.

Cztery sprawdzenia, od najtańszego w górę

Nie zweryfikujesz wszystkiego, a próba skończy się tym, że nie zweryfikujesz niczego. Chcesz sprawdzenia, które kosztuje mniej niż sam błąd. Te cztery idą od prawie darmowego do lekko uciążliwego, a przy większości pytań wystarcza to pierwsze, po które sięgniesz.

1. Poproś o źródła, a potem je otwórz. Nie "podaj źródła" jako rytuał. Kliknij w nie. Martwy link albo działająca strona, na której nie ma tego twierdzenia, rozstrzyga sprawę w jakieś dziesięć sekund.
2. Zapytaj ponownie w nowym czacie. To samo pytanie, nowa rozmowa, bez wcześniejszej wymiany zdań. Jeśli liczby, nazwiska albo daty wracają inne, model zapełniał luki, a nie cokolwiek pamiętał. To nic nie kosztuje i wyłapuje zaskakująco dużo wymyślonych konkretów.
3. Zapytaj inny model. Najcenniejsze pojedyncze sprawdzenie przy pytaniach o fakty. Wklej to samo pytanie drugiemu dostawcy i porównaj konkrety, a nie ton.
4. Poszukaj tego normalnie. Przy wszystkim, co wyślesz, podpiszesz, opublikujesz albo za co zapłacisz, daj temu dziewięćdziesiąt sekund w wyszukiwarce. AI jest znakomite jako pierwsze podejście. Pierwsze podejście to nie weryfikacja.

Punkt trzeci zasługuje na swoje miejsce. Dwa modele zbudowane przez różne firmy, wytrenowane na różnych danych różnymi metodami, mogą oba mylić się w tej samej sprawie. Bardzo rzadko wymyślają ten sam błędny szczegół, bo sfabrykowany konkret bierze się z konkretnych luk w jednym konkretnym systemie. Gdy Claude i ChatGPT niezależnie podają ci tę samą liczbę, ta liczba prawdopodobnie jest prawdziwa. Gdy się nie zgadzają, namierzyłeś dokładnie to zdanie, które warto sprawdzić, a to lepsze niż mgliste wrażenie, że coś w odpowiedzi jest nie tak. Do sporadycznego sprawdzania wystarczą darmowe plany dwóch dostawców i nic to nie kosztuje. Przestaje być darmowe, gdy porównywanie wejdzie w nawyk, bo płatny dostęp kosztuje około 20 dolarów miesięcznie u każdego dostawcy, i tę lukę zamyka subskrypcja wielomodelowa taka jak Whizi. Korzystanie z kilku modeli naraz opisuje ten sposób pracy krok po kroku.

Gdzie to ma znaczenie, a gdzie naprawdę nie ma

Nawyk weryfikacji stosowany do wszystkiego rozsypuje się w ciągu tygodnia. Większość tego, o co pytasz, ma niską stawkę i sprawdza się sama. Poproś o krótszą wersję własnego e-maila, a widzisz, czy jest krótsza i czy nadal mówi to, co miałeś na myśli. To samo dotyczy burzy mózgów, wymyślania nazw, układania konspektu, szkicowania, tłumaczenia wiadomości, którą i tak przeczytasz przed wysłaniem, oraz zamieniania bałaganu notatek w listę. To ty jesteś kontrolą, a błąd rzuca ci się w oczy natychmiast.

Dwa pytania przypisują każde zadanie do właściwego koszyka, a zadanie ich sobie zajmuje jakieś trzy sekundy.

1. Jeśli to jest błędne, kto się dowie i kiedy? Ty, za dziesięć sekund przy czytaniu, czy klient, za trzy miesiące?
2. Czy mogę to cofnąć? Skasowanie złego akapitu jest darmowe. Korekta zeznania podatkowego, wycofanie wysłanej oferty albo odwrócenie płatności już nie.

Jeśli któraś z odpowiedzi każe ci się zawahać, zweryfikuj każde konkretne twierdzenie, zanim zadziałasz. Oczywiści członkowie tego koszyka: nazwy i dawki leków, terminy prawne i urzędowe, kwoty podatkowe, warunki umów, wszystko dotykające czyjegoś zdrowia albo statusu pobytowego oraz kod, który przesuwa pieniądze lub obsługuje dane osobowe. Zły synonim w e-mailu sprawia, że przez jeden dzień wyglądasz odrobinę dziwnie. Zła dawka leku albo przegapiony termin to nie jest coś, z czym AI potem sobie poradzi. Czy AI jest bezpieczne omawia tę stronę głębiej, w tym to, czego nigdy nie wolno wklejać. Zacznij od jednego nawyku: w chwili, gdy odpowiedź zawiera liczbę, nazwisko, datę albo link, potraktuj ten fragment jako niezweryfikowany i sprawdź go. Reszta zwykle jest w porządku.