Co to jest knowledge cutoff?

Model przestał czytać w pewnym dniu i sam nie wie, w którym

Model językowy uczy się na stałym zbiorze tekstów zebranych przed rozpoczęciem treningu. Czym jest LLM opisuje dwa etapy treningu; tutaj chodzi o to, że oba korzystają z danych mających datę końcową. Nic opublikowanego po tej dacie nie trafia do modelu. Ani wybory, ani zmiana ceny, ani nawet wiadomości o samym modelu.

Dostawcy publikują tę datę na karcie modelu, a coraz częściej publikują dwie. Anthropic podaje "training data cutoff", czyli ostatnią datę, z której pochodziły jakiekolwiek dane, oraz "reliable knowledge cutoff", wcześniejszą datę, przed którą pokrycie tematów jest na tyle gęste, by można mu było zaufać. Różnica między nimi bierze się stąd, że sieć potrzebuje miesięcy, by szeroko opisać jakieś wydarzenie: premiera w marcu ma garść stron w kwietniu, a tysiące we wrześniu. Model wytrenowany w lipcu zna marzec dobrze, a lipiec ledwie.

Sam model nie potrafi podać żadnej z tych dat. Nie ma kalendarza ani zapisu własnego treningu; zapytany "jaka jest twoja data graniczna wiedzy", generuje najbardziej prawdopodobną odpowiedź na to pytanie na podstawie danych treningowych, co zwykle oznacza datę, o której czytał w kontekście wcześniejszego modelu. Opublikowane prompty systemowe Anthropic wprost podają Claude jego własną datę graniczną, co jest przyznaniem, że inaczej model by jej nie znał. Datę bierz z karty modelu, nigdy z czatu.

Jak bardzo nieaktualny jest model w dniu premiery, zmierzone

Trening trwa miesiące, a ewaluacja i prace nad bezpieczeństwem zajmują jeszcze więcej czasu, więc model debiutuje już w tyle. Wykres pokazuje osiem kart modeli: wiarygodną lub podaną datę graniczną wiedzy zestawioną z publiczną datą premiery, w pełnych miesiącach.

Widać dwa wzorce. Flagowe modele OpenAI wypadały najgorzej, dziesięć miesięcy opóźnienia zarówno dla GPT-4.1, jak i GPT-5, podczas gdy Anthropic i Google mieściły się w przedziale od dwóch do czterech. A luka tylko rośnie w trakcie użytkowania: GPT-4o wciąż był domyślnym modelem ChatGPT rok po premierze, kiedy jego wiedza kończyła się już 19 miesięcy wcześniej. Model używany na co dzień jest zwykle rok lub więcej w tyle za dniem, w którym o coś pytasz.

Powyższe daty pochodzą od samych dostawców, odczytane z kart modeli podlinkowanych na końcu tej strony. Oś czasu modeli AI zawiera daty premier każdego modelu śledzonego przez tę stronę.

Co robi model, gdy pytasz go o coś po dacie granicznej

Odpowiada. To jest właśnie problem. Model nie ma kroku wyszukiwania, który zwróciłby "nie znaleziono"; generuje najbardziej prawdopodobną kontynuację, a przy pytaniu o zeszły miesiąc ta kontynuacja powstaje na podstawie wzorców podobnych pytań z danych treningowych. Zapytaj o produkt wydany po dacie granicznej, a model opisze, jaki taki produkt mógłby prawdopodobnie być. Zapytaj o aktualną cenę, a poda cenę z daty granicznej, ujętą w czasie teraźniejszym.

Czym jest halucynacja AI tłumaczy, dlaczego model jest pewny siebie zamiast niepewny, ale wersja związana z datą graniczną ma znak rozpoznawczy: odpowiedź jest spójna i lekko przestarzała. Nazwa modelu jest o jedną wersję za wcześnie, cena jest z zeszłego roku, funkcja "najnowsza" to ta z okresu treningu. Nieaktualna odpowiedź nie wygląda na błędną; wygląda jak przeszłość.

Rozwiązaniem jest wyszukiwanie i działa nawet tam, gdzie go nie ma

Daty granicznej nie da się przesunąć, więc rozwiązaniem jest dostarczenie modelowi aktualnego tekstu w momencie odpowiedzi. Robią to dwa mechanizmy. Przesłanie dokumentu umieszcza twój tekst w promptcie, a model odpowiada na jego podstawie. Wyszukiwanie w sieci pobiera strony i robi to samo z otwartą siecią. Oba są uziemieniem (grounding) i oba są mechanizmem, który opisuje czym jest RAG: model wciąż przewiduje, ale na podstawie materiału powstałego po jego treningu.

W Whizi wyszukiwanie w sieci jest domyślnie włączone, znajduje się w kompozytorze obok przycisku załączania i działa niezależnie od wybranego modelu. To ostatnie jest tu istotne. Claude czy model Llama: z włączonym przełącznikiem każdy z nich odpowiada na pytanie o ten tydzień na podstawie aktualnych źródeł. Przełącznik daje przyzwolenie, a nie wydaje polecenie, więc prośba o wiersz nie uruchamia wyszukiwania, a pytanie z datą już tak. Wyszukiwanie nie kosztuje kredytów, wiadomość kosztuje tyle, ile próg kredytowy modelu, który odpowiedział, dokładnie tak samo jak bez wyszukiwania.

Warto uczciwie wskazać jedno ograniczenie. Wyszukiwanie naprawia nieaktualność, nie naprawia wiarygodności. Nieaktualny wpis na blogu jest pobierany równie łatwo jak strona dostawcy, więc przy cenie czy specyfikacji otwórz cytowany link, zanim na jej podstawie coś zrobisz, a przy czymś ważnym zapytaj drugi model z włączonym wyszukiwaniem i porównaj odpowiedzi.

Załóż sześć miesięcy opóźnienia, potem oceń pytanie

Zakładaj, że każdy model jest w tyle o co najmniej sześć miesięcy, a model, którego używasz od dłuższego czasu, jest w tyle o rok lub więcej. Potem oceń pytanie. Jeśli odpowiedź zależy od faktów o świecie po tej dacie, włącz wyszukiwanie albo prześlij źródło. Jeśli odpowiedź zależy od rozumowania na podstawie czegoś już obecnego w rozmowie, data graniczna nie ma znaczenia i wyszukiwanie może być wyłączone.

Sprawdzaj datę na karcie modelu, nie u samego modelu. A kiedy model sam z siebie mówi "według mojej ostatniej aktualizacji", potraktuj to jako cytat z danych treningowych, a nie fakt o samym sobie, i z taką samą podejrzliwością traktuj wszystko, co pada po tym zwrocie.