Co je knowledge cutoff (mezní datum znalostí modelu)?

Model přestal číst k určitému datu a sám neví, ke kterému

Jazykový model se učí z pevného souboru textů sestaveného před začátkem trénování. Co je LLM popisuje obě fáze trénování; podstatné tady je, že obě pracují s daty s konečným datem. Nic zveřejněného po tomto datu se do modelu nedostane. Ani volby, ani změna ceny, ani zprávy o samotném modelu.

Dodavatelé toto datum zveřejňují na model card a čím dál častěji uvádějí datumy dva. Anthropic uvádí „training data cutoff“, tedy poslední datum, kdy byla nějaká data zahrnuta, a „reliable knowledge cutoff“, dřívější datum, před kterým je pokrytí dost husté na to, aby se dalo věřit. Rozdíl mezi nimi existuje proto, že web potřebuje měsíce na to, aby o události napsal: vydání v březnu má v dubnu pár stránek a v září jich jsou tisíce. Model natrénovaný v červenci zná březen dobře a červenec sotva.

Model sám vám ani jedno z těch dat neřekne. Nemá kalendář ani záznam o vlastním trénování; když se ho zeptáte „jaký je tvůj knowledge cutoff“, vygeneruje nejpravděpodobnější odpověď na tuto otázku ze svých trénovacích dat, což obvykle bývá datum, o kterém četl u nějakého staršího modelu. Zveřejněné systémové prompty Anthropic sdělují Claude jeho vlastní cutoff datum přímým textem, což je přiznání, že by to model jinak nevěděl. Datum berte z model card, nikdy z chatu.

Jak zastaralý je model v den vydání, změřeno

Trénování trvá měsíce a hodnocení a bezpečnostní práce další, takže model vychází už pozadu. Graf čerpá z osmi model cards: reliable nebo uvedený knowledge cutoff proti datu veřejného vydání, v celých měsících.

Jsou tu dva vzorce. Vlajkové modely OpenAI vycházely nejvíce pozadu, deset měsíců u GPT-4.1 i GPT-5, zatímco Anthropic a Google se pohybují mezi dvěma a čtyřmi. A rozdíl se v provozu jen zvětšuje: GPT-4o byl výchozím modelem ChatGPT ještě rok po vydání, kdy jeho znalosti končily už 19 měsíců zpátky. Model v každodenním používání je typicky rok nebo víc pozadu za dnem, kdy se ho na něco ptáte.

Uvedená data jsou od samotných dodavatelů, převzatá z model cards odkázaných na konci této stránky. Časová osa modelů AI obsahuje data vydání pro každý model, který stránka sleduje.

Co model dělá, když se zeptáte za hranici

Odpoví. A to je ten problém. Model nemá krok, který by vrátil „nenalezeno“; generuje nejpravděpodobnější pokračování, a u otázky na minulý měsíc je toto pokračování postavené na vzorcích podobných otázek z trénovacích dat. Zeptejte se na produkt vydaný po cutoffu a model popíše, jaký by takový produkt pravděpodobně byl. Zeptejte se na aktuální cenu a dostanete cenu z doby cutoffu, podanou v přítomném čase.

Co je AI halucinace vysvětluje, proč je model sebejistý místo nejistého, ale verze s cutoffem má poznávací znamení, které lze využít: odpověď je souvislá a mírně zastaralá. Název modelu je o verzi zpátky, cena je loňská, „nejnovější“ funkce je ta z trénovacího okna. Zastaralá odpověď nevypadá špatně, vypadá jako minulost.

Řešením je vyhledávání a funguje i u modelů, které ho nemají

Cutoff nelze posunout, takže řešením je dodat modelu aktuální text v okamžiku odpovědi. Existují dva mechanismy. Nahrání dokumentu vloží váš text do promptu a model z něj odpoví. Vyhledávání na webu načte stránky a udělá totéž s otevřeným webem. Oba jsou grounding a oba jsou mechanismem, který popisuje co je RAG: model pořád predikuje, ale z materiálu, který je novější než jeho trénování.

Ve Whizi je vyhledávání na webu zapnuté ve výchozím nastavení, je v poli pro psaní zprávy hned vedle tlačítka pro přílohu a platí pro jakýkoli model, který si vyberete. To poslední je ta užitečná část. Claude nebo model Llama: se zapnutým přepínačem každý odpoví na otázku o tomto týdnu z živých zdrojů. Přepínač uděluje povolení, nevydává příkaz, takže žádost o báseň vyhledávání nespustí, ale otázka s datem ano. Vyhledávání nestojí žádné kredity, zpráva stojí kreditovou úroveň modelu, který odpověděl, stejně jako bez vyhledávání.

Jedno omezení je poctivé si přiznat. Vyhledávání řeší zastaralost, ne důvěryhodnost. Zastaralý blogový příspěvek se najde stejně snadno jako stránka dodavatele, takže u ceny nebo specifikace otevřete citovaný odkaz dřív, než podle něj jednáte, a u čehokoli důležitého se zeptejte druhého modelu se zapnutým vyhledáváním a porovnejte.

Počítejte s půl rokem zpoždění, pak roztřiďte otázku

Počítejte s tím, že každý model je pozadu nejméně o půl roku, a model, který používáte už delší dobu, je pozadu o rok nebo víc. Pak otázku roztřiďte. Pokud odpověď závisí na faktech o světě po tomto datu, zapněte vyhledávání nebo nahrajte zdroj. Pokud odpověď závisí na úvaze o něčem, co už je v konverzaci, na cutoffu nezáleží a vyhledávání může zůstat vypnuté.

Datum si ověřte na model card, ne na modelu samotném. A když vám model sám navrhne „k mému poslednímu update“, berte to jako model citující svá trénovací data, ne jako fakt o sobě samém, a se stejnou nedůvěrou berte i všechno, co po té frázi následuje.