Jak korzystać z kilku modeli AI naraz (cztery schematy, które działają)

Dlaczego jeden model to za mało

Zwykły argument za używaniem kilku modeli AI brzmi tak, że każdy jest w czymś lepszy, więc do każdego zadania warto wybrać najlepszy. To prawda, ale jest to najmniej ciekawy powód.

Lepszy powód brzmi tak, że model nie widzi własnych martwych punktów. Poproś model o sprawdzenie własnej pracy, a w większości ją potwierdzi, bo te same wagi, które wyprodukowały błąd, wyprodukowały też pewność siebie. Poproś inny model, trenowany inaczej, na innych danych, z innymi sposobami zawodzenia, a wychwyci rzeczy, których pierwszy nie mógł. To nie sztuczka, tylko dokładnie ten sam powód, dla którego prosisz kolegę o przeczytanie maila przed wysłaniem go do klienta.

Drugi powód jest praktyczny: liderzy wśród modeli ciągle się zmieniają. Ten, kto w tym kwartale jest najlepszy w kodzie, w następnym może już nie być. Proces zbudowany wokół jednego dostawcy trzeba przebudowywać przy każdej zmianie rankingu. Proces zbudowany na założeniu, że modele się zmienia, takiego problemu nie ma.

Dalej znajdziesz cztery schematy, ułożone według stosunku korzyści do wysiłku. Nie potrzebujesz wszystkich czterech. Większość ludzi wyciąga niemal całą wartość z dwóch pierwszych.

Schemat 1: napisz szkic, potem oddaj go do krytyki innemu modelowi

Najbardziej wartościowy schemat i zarazem ten, którego prawie nikt nie stosuje. Pisz jednym modelem, recenzuj drugim.

Działa, bo tworzenie i ocenianie to dwie różne prace. Model produkujący tekst optymalizuje spójne przedłużenie. Model oceniający tekst, którego nie napisał, nie jest przywiązany do tej argumentacji, więc powie, że trzeci akapit nie wynika z poprzednich, zamiast to wygładzić.

Prompt ma tu ogromne znaczenie. Pytanie "co o tym myślisz" przyniesie ci komplementy. Poproś zamiast tego o to:

Nie napisałeś poniższego tekstu i nie masz w nim żadnego interesu. Zrecenzuj go jak sceptyczny redaktor. Wypisz po kolei: 1) każde twierdzenie faktograficzne, które jest błędne, nieudokumentowane lub zbyt mocne, 2) każde miejsce, w którym argumentacja nie wynika z poprzedniego, 3) jeden najsłabszy akapit i dokładny powód. Niczego nie przepisuj. Nie mów mi, co jest dobre.

Prawdziwą robotę robią trzy instrukcje na końcu. "Niczego nie przepisuj" powstrzymuje model przed produkowaniem wersji własnym głosem, o którą nie prosiłeś. "Nie mów mi, co jest dobre" usuwa odruchowe pochwały, którymi napchana jest większość opinii od AI. "Nie napisałeś tego" to zaskakująco skuteczne ramy, bo model przestaje bronić wyborów, które uważa za swoje.

Potem zanieś krytykę z powrotem do pierwszego modelu razem z tymi uwagami, z którymi się zgadzasz. To ty jesteś redaktorem decydującym, które uwagi przyjąć, i dokładnie taki podział pracy jest właściwy.

Kiedy warto poświęcić te dwie dodatkowe minuty: wszystko, co idzie do klienta, wszystko publiczne, wszystko, gdzie pomyłka jest kosztowna. Kiedy nie warto: wiadomość na czacie firmowym, wstępny konspekt, lista zakupów.

Schemat 2: test rozbieżności

To najbliższa rzecz do niezawodnego wykrywacza halucynacji, jaką da się zrobić bez ręcznego sprawdzania wszystkiego.

Zadaj dwóm różnym modelom to samo pytanie faktograficzne, niezależnie, tym samym promptem. Potem porównaj. Tam, gdzie są zgodne, prawdopodobnie jest dobrze. Tam, gdzie się różnią, znalazłeś dokładnie to miejsce, które wymaga sprawdzenia.

To cała technika, a jest mocna, bo halucynacje zwykle nie są wspólne. Gdy model wymyśla statystykę, nazwę sprawy sądowej, sygnaturę funkcji albo datę, inny model trenowany inaczej rzadko wymyśla dokładnie to samo. Zgodność to słaby dowód poprawności. Rozbieżność to mocny dowód, że coś jest nie tak, i od razu wskazuje palcem.

Przy wszystkim, co zawiera wiele twierdzeń, niech porównanie zrobi robotę za ciebie:

Poniżej są dwie odpowiedzi na to samo pytanie, oznaczone A i B. Zignoruj styl i długość. Wypisz każdy istotny punkt, w którym się różnią, w tym różnice w liczbach, datach, nazwach i w tym, jak stanowczo coś jest twierdzone. Przy każdej rozbieżności napisz, która wersja jest bardziej prawdopodobna i jedno źródło, które rozstrzygnie sprawę.

Zostaje ci krótka lista rzeczy do sprawdzenia zamiast długiego dokumentu do zweryfikowania, a ta lista zwykle trafnie wskazuje, gdzie leżą problemy.

Dwa ostrzeżenia. Po pierwsze, modele mogą podzielać ten sam błąd, jeśli jest on rozpowszechniony w internecie, więc ta metoda wyłapuje zmyślenia, a nie szeroko powielaną dezinformację. Po drugie, nie rezygnuj z weryfikacji tylko dlatego, że dwa modele się zgodziły. To zawęża zakres sprawdzania, a nie znosi jego potrzeby.

Stosuj przy: statystykach, twierdzeniach prawnych i medycznych, faktach historycznych, szczegółach API, wszystkim, z czego będziesz cytowany. Pomiń przy: opiniach, pracy twórczej i wszystkim, gdzie w przybliżeniu trafna odpowiedź wystarczy.

Schemat 3: kieruj zadania według rodzaju

Oczywisty schemat, warty porządnego wdrożenia. Wysyłaj każdy rodzaj pracy do modelu, który jest w tym najlepszy, zamiast wysyłać wszystko do tego, który akurat masz otwarty.

Zadanie	Sięgnij po	Ponieważ
Pierwszy szkic dowolnego tekstu	Najmocniejszy model do pisania	Kupujesz sobie krótszą redakcję
Recenzja tego szkicu	Inny model	Świeże oko, inne sposoby zawodzenia
Wszystko, co dotyczy tego tygodnia	Model z wyszukiwaniem na żywo	Dane treningowe zawsze są w tyle
Bardzo długi dokument lub baza kodu	Model z dużym kontekstem	Najpierw musi się zmieścić, żeby dało się to zrozumieć
Trudna logika, matematyka lub podstępny błąd	Model rozumujący z wydłużonym myśleniem	Wolniej, ale dużo trafniej przy zadaniach wieloetapowych
Powtarzalna praca w dużej ilości	Tani i szybki model	Czołowa jakość marnuje się na klasyfikacji i tagowaniu
Wszystko, co wrażliwe	Ten, który spełnia twoje zasady dotyczące danych	Możliwości nie unieważniają twoich obowiązków

Jeden nawyk warto zbudować: przestań korzystać z domyślnego wyboru. Większość ludzi używa do wszystkiego tego modelu, który przyszedł z subskrypcją, również do zadań, w których jest słaby, a potem uznaje, że AI sobie z nimi nie radzi. Dziesięć sekund zastanowienia nad tym, który model pasuje, zmienia wynik bardziej niż godzina dopieszczania promptu.

Pełniejszą wersję tej decyzji opisuje jak wybrać model AI, a czym jest okno kontekstu tłumaczy, skąd w tabeli wziął się wiersz o długich dokumentach.

Schemat 4: sztafeta z pisemnym przekazaniem

W pracy rozłożonej na kilka etapów punktem awarii jest przerwa między etapami. Tłumaczysz projekt jednemu modelowi, dochodzisz do czegoś sensownego, a potem przenosisz się do innego i albo wklejasz ścianę historii, albo tłumaczysz wszystko od nowa, byle jak.

Napraw to, prosząc wprost o przekazanie, zanim się przełączysz:

Napisz brief przekazania dla innego asystenta, który nie widział tej rozmowy. Zawrzyj w nim: co próbujemy stworzyć, jakie decyzje już zapadły i dlaczego, jakie są ograniczenia i czego unikać, co zostało wypróbowane i odrzucone oraz czego dokładnie potrzebuję teraz. Bądź na tyle konkretny, żeby dało się kontynuować bez zadawania mi pytań.

To przydatne nawet wtedy, gdy nie zmieniasz modelu. To najczystszy sposób na wyjście z długiej rozmowy, która zrobiła się powolna i mglista, bo zachowujesz treść, a gubisz nagromadzony szum. Wklej brief do świeżego czatu, a jakość zwykle od razu skacze w górę.

Realistyczna sztafeta wygląda tak. Dajesz dwustustronicowy raport modelowi z dużym kontekstem i prosisz o uporządkowane streszczenie z dziesięcioma najważniejszymi fragmentami zacytowanymi wprost. Zabierasz je do mocnego modelu piszącego i produkujesz notatkę dla klienta. Rundę krytyki ze schematu pierwszego przeprowadzasz trzecim modelem. Łącznie jakieś piętnaście minut, a każdy etap korzystał z narzędzia do niego stworzonego.

Kiedy nie warto się w to bawić

Praca z wieloma modelami ma swój narzut, a udawanie, że jest inaczej, kończy się rozbudowanym procesem do napisania dwuzdaniowego maila.

Sięgnij po jeden model, gdy: zadanie jest małe, koszt pomyłki niski, badasz teren zamiast produkować, iterujesz szybko i tarcie zepsułoby ci rytm, albo praca jest naprawdę twórcza, a druga opinia tylko zamąci twój głos.

Sięgnij po dwa lub więcej, gdy: wynik trafia do kogoś innego, liczy się zgodność z faktami, zadanie ma wyraźne etapy wymagające różnych mocnych stron, utknąłeś i potrzebujesz naprawdę innego spojrzenia, albo masz podjąć decyzję na podstawie tego, co powiedział ci model.

Rozsądna zasada: jeśli poprosiłbyś o rzut oka kolegę, poproś drugi model. Jeśli byś nie poprosił, odpuść.

Jak zrobić z tego praktykę

W teorii wszystko to jest proste, a w praktyce irytujące, jeśli każdy model siedzi za inną subskrypcją. Tarcie jest realne: osobne karty, osobne historie, kopiowanie kontekstu między nimi, gubione formatowanie i ten drobny opór, przez który pomijasz rundę krytyki dokładnie tego dnia, gdy najbardziej jej potrzebujesz.

Właśnie przez to tarcie powyższe schematy są tak rzadko stosowane. Nie są trudne, są tylko na tyle uciążliwe, że w natłoku pracy się je pomija.

Do tego właśnie służy miejsce pracy z wieloma modelami. W Whizi modele siedzą w jednej rozmowie, więc runda krytyki to zmiana modelu i jedno pytanie, a nie otwieranie kolejnego produktu i wklejanie szkicu. Jedna historia, jedno wyszukiwanie po wszystkim, o co kiedykolwiek pytałeś, jeden rachunek. Zobacz zmianę modelu w trakcie rozmowy oraz porównywanie modeli obok siebie, żeby zobaczyć, jak te dwa kroki działają naprawdę.

Jeśli wolisz poskładać to sam z osobnych subskrypcji, te schematy nadal działają i nadal warto z nich korzystać. Zmienia się tylko to, jak często będzie ci się chciało. A jeśli już płacisz za dwa czy trzy plany, żeby to umożliwić, uruchom najpierw kalkulator oszczędności, bo zwykle jest to droższa droga do tego samego wyniku.

Zacznij od schematu pierwszego. Weź najbliższy tekst, który ktoś inny przeczyta, puść prompt z krytyką przez inny model i zobacz, co znajdzie. Ten jeden nawyk jest wart więcej niż cała reszta tego artykułu.