Krótka odpowiedź
Naciśnij Compare (Porównaj) w nagłówku czatu, wybierz model dla każdej kolumny i wyślij jeden prompt do obu naraz. Każda kolumna prowadzi własną, ukrytą rozmowę, więc żaden model nie widzi odpowiedzi drugiego i żadna z nich nie jest zakotwiczona przez drugą, co jest właściwie całym sensem takiego porównania. Kolumny generują odpowiedzi jedna po drugiej, najpierw lewa, potem prawa, bo na koncie działa jedna generacja naraz.
Porównanie obok siebie to funkcja Powerhouse i działa na dwóch modelach jednocześnie. Każda odpowiedź jest rozliczana według stawki kredytowej właściwej dla danego modelu, więc porównanie modelu za 10 kredytów z modelem za 20 kredytów kosztuje 30 kredytów.
Użyj go, żeby zdecydować, który model ma być twoim domyślnym wyborem do danego typu pracy. Jeśli zależy ci na poprawieniu jednej odpowiedzi, a nie na porównaniu dwóch, zrób co innego: przełącz model w tym samym wątku i poproś drugi o krytykę pierwszego.
Dlaczego benchmarki nie odpowiadają na twoje pytanie
Publikowane benchmarki mierzą wydajność na ustandaryzowanych zadaniach. Twoje pytanie jest węższe i bardziej praktyczne: który model jest lepszy w tym, co robisz osobiście dwadzieścia razy w tygodniu. To są różne pytania, a drugie z nich nie ma publikowanej odpowiedzi, bo nikt nie ma dokładnie twojego zestawu zadań.
Uruchomienie jednego promptu na dwóch modelach zajmuje około trzydziestu sekund i odpowiada na to wprost. Ważne nie jest to, że dostajesz dwie odpowiedzi, tylko że dowiadujesz się, jak duża jest różnica między nimi. Czasem odpowiedzi są niemal identyczne, co mówi ci, żeby przestać się zastanawiać nad wyborem modelu do tego zadania. Czasem jedna z nich jest bezużyteczna, co warto wiedzieć, zanim zbudujesz na niej cały proces pracy.
Druga rzecz, którą wychwytuje porównanie, to pewny siebie błąd. Kiedy dwa modele dają istotnie różne odpowiedzi na pytanie faktograficzne, przynajmniej jedna z nich jest błędna, a nie dowiedziałbyś się tego, czytając tylko jedną z nich. Tego sygnału nie masz w pracy z pojedynczym modelem, niezależnie od ceny.
Zdecyduj, co znaczy „lepiej”, zanim zaczniesz czytać
Pułapką w porównaniu obok siebie jest preferowanie tej odpowiedzi, która jest dłuższa, brzmi pewniej albo jest bardziej dopracowana. To nie jest jakość. Najpierw ustal swoje kryterium, a dopiero potem czytaj.
| Zadanie | Co znaczy „lepiej” | Co ignorować |
|---|---|---|
| Pisanie | Wymaga mniej redakcji, żeby dało się to wysłać | Długość, słownictwo, entuzjazm |
| Research faktograficzny | Źródła, które da się zweryfikować i które potwierdzają tezę | Płynność i pewność siebie |
| Ekstrakcja danych | Poprawny schemat, brak zmyślonych pól, spójne etykiety | Jakość prozy wokół tabeli |
| Rozumowanie | Kroki się trzymają, a przypadek brzegowy jest uwzględniony | Czy wniosek pasuje do twoich wcześniejszych założeń |
| Kod | Obsługuje ścieżkę błędu, da się go zrecenzować | Sprytność, zwięzłość |
| Streszczanie | Zachowuje to, co ważne, a pomija to, co nieważne | Wyczerpujący opis wszystkiego |
Praktyczna sztuczka: zanim przeczytasz którąkolwiek odpowiedź, zapisz jedno zdanie opisujące, co powinna zawierać dobra odpowiedź. Potem czytaj. Zajmuje to dziesięć sekund i zapobiega tendencji do wybierania „ładniejszej” odpowiedzi, która jest silna i w większości nieświadoma.
Przy pytaniach faktograficznych sprawdzaj rozbieżność, a nie zwycięzcę. Tam, gdzie dwa modele zgadzają się co do konkretnej liczby i źródła, zaufanie jest uzasadnione. Tam, gdzie się różnią, to jest właśnie to, co warto zweryfikować, i to najcenniejszy wynik całego ćwiczenia.
Prompty, które ujawniają realne różnice
Niektóre zadania wyraźnie rozdzielają modele, a inne nie. Jeśli chcesz się czegoś nauczyć z porównania, użyj promptów, które testują konkretną umiejętność pod presją.
- Ton w trudnej sytuacji.
Napisz wiadomość do klienta wyjaśniającą, że nie dotrzymaliśmy terminu, biorąc odpowiedzialność, bez nadmiernego przepraszania i bez usprawiedliwień. Do 120 słów.Różnice w rejestrze widać tutaj natychmiast. - Ścisła ekstrakcja danych.
Wyciągnij z tego tekstu każdą datę, kwotę i stronę do tablicy JSON z dokładnie tymi kluczami. Jeśli pole jest nieobecne, użyj null. Nie zgaduj.Testuje dyscyplinę formatu i skłonność do zmyślania. - Rozumowanie z pułapką. Podaj zadanie z prawdopodobną błędną odpowiedzią, na przykład pytanie o stawkę lub proporcję, gdzie intuicyjna droga jest niepoprawna. Modele różnią się tym, czy idą na skróty.
- Zapamiętywanie długiego kontekstu. Wgraj długi dokument i zapytaj o coś ze środka. Ujawnia realny, użyteczny kontekst, a nie ten reklamowany.
- Przyznanie się do niewiedzy.
Co ogłoszono na temat [czegoś naprawdę niszowego albo bardzo świeżego]?Najlepsza odpowiedź to jasne „nie wiem” albo wyszukanie ze wskazanym źródłem. Konfabulacja tutaj dyskwalifikuje odpowiedź. - Trzymanie się ograniczenia negatywnego.
Wyjaśnij X bez użycia żadnej analogii ani metafory.Zgodność z instrukcjami negatywnymi różni się bardziej, niż mogłoby się wydawać.
Testuj porównania na swojej własnej, prawdziwej pracy, a nie na zagadkach. Model, który jest lepszy w twoim raporcie kwartalnym, jest bardziej użyteczny niż taki, który jest lepszy w zagadce logicznej.
Jak zamienić tydzień porównań w mapę routingu
Jedno porównanie jest ciekawe. Tydzień porównań jest przydatny do działania. Oto rutyna:
- Przez pięć dni, kiedy tylko zadanie ma znaczenie, uruchamiaj je na dwóch modelach zamiast na jednym.
- Zanotuj typ zadania, zwycięzcę i to, jak duża była różnica. Wystarczą trzy słowa.
- Na koniec tygodnia sprawdź, gdzie jeden model wygrywał wielokrotnie, a gdzie odpowiedzi były wymienne.
- Ustaw na tej podstawie swoje domyślne modele i przestań porównywać w zadaniach, gdzie różnica była konsekwentnie zerowa.
Zwykle okazuje się, że porównanie ma znaczenie w mniejszości zadań, a w reszcie to strata czasu. Szybkie sprawdzenie faktów, proste przeredagowania i rutynowe formatowanie rzadko rozdzielają modele. Pisanie, które przeczyta klient, research, który wpłynie na decyzję, i rozumowanie o czymś nieznanym, rozdzielają je bardzo mocno.
Ten wynik jest nagrodą: przestajesz porównywać tam, gdzie nie robi to różnicy, i zostawiasz to tylko dla zadań, w których zmienia wynik.
Obok siebie kontra sekwencyjnie
Dwie różne techniki, warto je rozróżnić.
Obok siebie uruchamia ten sam prompt na dwóch modelach, które nie widzą swoich odpowiedzi. Każda kolumna prowadzi własną, ukrytą rozmowę, nazwaną z prefiksem [Compare] i ukrytą poza panelem bocznym, więc pytania uzupełniające pozostają uczciwym testem: oba modele utrzymują niezależny, wieloturowy kontekst. To właściwe narzędzie do wyboru domyślnego modelu i do wychwytywania rozbieżności faktograficznych.
Sekwencyjnie oznacza uzyskanie odpowiedzi, a potem przełączenie modelu w tym samym wątku i poproszenie nowego o jej krytykę. Użyj tego, gdy zależy ci na znalezieniu wady, a nie na porównaniu, bo drugi model może odnieść się bezpośrednio do konkretnego argumentu. Zobacz przełączanie modeli w trakcie rozmowy.
Zgrubna zasada: obok siebie, żeby zdecydować który model, sekwencyjnie, żeby poprawić odpowiedź.
- Napisz i dopracuj prompt w zwykłym czacie, zanim zaczniesz porównywać
- Zdecyduj, co znaczy „lepiej” dla tego zadania, zanim przeczytasz którąkolwiek odpowiedź
- Zapisz jedno zdanie opisujące dobrą odpowiedź, a potem czytaj, żeby uniknąć tendencji do ładniejszej odpowiedzi
- Przy pytaniach faktograficznych traktuj rozbieżność jako wynik i zweryfikuj ją
- Porównuj na swojej prawdziwej pracy, nie na zagadkach
- Zapisuj zwycięzcę i wielkość różnicy przez tydzień, a potem ustaw domyślne modele na tej podstawie
- Przestań porównywać w zadaniach, gdzie różnica jest konsekwentnie zerowa
Najczęstsze pytania
Ile modeli mogę porównać naraz?
Porównanie obok siebie to funkcja Powerhouse i działa na dwóch modelach naraz, co jest celowe: dwie kolumny to układ, który da się faktycznie uważnie przeczytać. Trzy kolumny zwykle zamieniają się w przeglądanie po łebkach, a to niweczy sens ćwiczenia, bo wartość polega na zauważeniu, gdzie odpowiedzi naprawdę się różnią.
Czy porównanie obok siebie zużywa więcej moich miesięcznych wiadomości?
Tak, kosztuje podwójnie: dwa modele generują po jednej odpowiedzi, a każda jest rozliczana według własnej stawki kredytowej, więc porównanie modelu za 10 kredytów z modelem za 20 kredytów kosztuje 30 kredytów, a nie 10 czy 20. Wychwycenie błędnej odpowiedzi albo bezużytecznego szkicu, zanim trafi dalej, zwykle jest tego warte. Efektywne podejście to porównywanie przy decyzjach i finalnych materiałach, a używanie jednego modelu do rutynowych wyszukiwań i szybkich przeredagowań.
Co jeśli obie odpowiedzi są równie dobre?
To realny i użyteczny wynik: mówi ci, że to zadanie nie zależy od wyboru modelu, więc przestań poświęcać na to uwagę i używaj tego, który jest twoim domyślnym. Większość zestawów zadań dzieli się właśnie tak, z większością zadań, w których modele są wymienne, i mniejszością, gdzie różnica jest duża. Ustalenie, które jest które, to cel prowadzenia porównań przez tydzień.
Jak uniknąć wybierania odpowiedzi tylko dlatego, że brzmi lepiej?
Ustal swoje kryterium przed czytaniem. Dłuższe, brzmiące pewniej i bardziej dopracowane odpowiedzi są systematycznie preferowane, nawet jeśli są gorsze, a ta tendencja jest w dużej mierze nieświadoma. Zapisanie jednego zdania o tym, co powinna zawierać dobra odpowiedź, zanim na nią spojrzysz, wystarczy, żeby przeciwdziałać większości tego efektu. Przy pracy faktograficznej oceniaj na podstawie tego, czy źródła da się zweryfikować i czy potwierdzają tezę, a nie na podstawie tego, jak brzmi odpowiedź.
Które dwa modele powinienem porównać?
Porównaj te dwa, między którymi faktycznie się wahasz przy danym zadaniu, co dla większości osób oznacza Claude przeciwko GPT przy pisaniu i rozumowaniu, albo model z dużym kontekstem przeciwko domyślnemu, gdy w grę wchodzą dokumenty. Porównanie modelu, którego nigdy byś nie użył, z twoim ulubionym niczego ci nie powie.