Odmítnutí je zvyk a jailbreak je způsob, jak ho porušit
Model neobsahuje pravidlo, které říká "nevysvětluj, jak vypáčit zámek". Obsahuje zvyk odmítat, zavedený během fáze doladění, kterou popisuje co je fine tuning AI, kdy lidé hodnotili odmítnutí škodlivých požadavků výše než vyhovění, dokud se odmítnutí nestalo nejpravděpodobnějším pokračováním takového požadavku. Pravděpodobným, ne jistým.
Jailbreak je jakýkoli prompt, který mění tyto pravděpodobnosti. Zabalte požadavek do příběhu a nejpravděpodobnějším pokračováním je další řádek příběhu. Rozdělte ho na nevinné části a žádná z nich zvyk nespustí. Zakódujte ho do base64 a trénink na odmítání, který viděl jen prostou angličtinu, ho nerozpozná. Dejte modelu dvě stě příkladů, kdy asistent vyhověl, a dvěstějedna žádost dostane stejnou odpověď, což Anthropic v dubnu 2024 pojmenoval many-shot jailbreaking a co se s růstem kontextových oken jen usnadňovalo.
Jde o stejný mechanismus, díky kterému je model užitečný. Řídí se vzorem svého vstupu. Bezpečnostní trénink dělá některé vzory mnohem méně pravděpodobnými; jailbreak najde vzor, který trénink nepokryl. Proto se problém neřeší lepším pravidlem a proč ho dodavatelé měří jako míru úspěšnosti.
Běžné techniky a co každá z nich zneužívá
| Technika | Jak funguje | Co zneužívá |
|---|---|---|
| Hraní role ("jsi DAN, Do Anything Now") | Přiřadí modelu personu bez pravidel | Odmítnutí jsou svázaná s personou asistenta, ne se samotným prediktorem |
| Hypotetické nebo fiktivní rámování | "V románu postava vysvětluje, jak..." | Fikce je legitimní úkol a trénink odměňoval jeho dokončení |
| Kódování a zamlžování | Base64, šifry, leetspeak, jiný jazyk | Trénink na odmítání probíhal většinou v prosté angličtině |
| Many-shot | Stovky příkladů výměn, kdy asistent vyhoví | Model pokračuje ve vzoru svého kontextu |
| Postupná eskalace | Dlouhá konverzace postupující krok za krokem | Každý krok je blízko tomu předchozímu, žádná jednotlivá zpráva zvyk nespustí |
| Vsunutí promptu do instrukcí | "Ignoruj předchozí instrukce" | Překrývá se s injekcí, cílem jsou pravidla aplikace, ne modelu |
DAN prompty, které kolovaly na Redditu od prosince 2022, jsou lidová verze, a každá verze přestala fungovat během týdnů až měsíců, jak OpenAI model aktualizovalo, a objevila se další verze. Každá pojmenovaná technika sleduje tento cyklus: zveřejnění, pak oprava. Anthropic vypsal placenou odměnu za univerzální jailbreak proti svým klasifikátorům, kam teď směřuje trvalá práce.
Jedno rozlišení stojí za zapamatování. Jailbreak je uživatel proti pravidlům modelu. Co je prompt injection je třetí strana proti uživateli, přes obsah, který model čte. Techniky se překrývají, oběti ne.
Co ochranný mechanismus skutečně zastaví, změřeno
Nejlepší veřejné číslo pochází z konstitučních klasifikátorů Anthropic, zveřejněných v únoru 2025. Tým natrénoval samostatné klasifikační modely, které kontrolují vstupy a výstupy kolem Claude, a pak spustil stejné automatizované útoky typu jailbreak proti modelu s ochranou i bez ní.
Cena za tento pokles je druhá polovina výsledku. Klasifikátory přidaly 23,7 procenta k výpočetnímu výkonu na dotaz a zvýšily odmítnutí neškodných požadavků o 0,38 procentního bodu. Před automatizovaným testem strávilo 183 lidí přes 3 000 hodin v programu odměn za chyby snahou najít univerzální jailbreak, jeden prompt, který by odemkl všech deset zakázaných otázek, a nikomu se to nepovedlo. Pozdější veřejná výzva jeden našla po týdnu. Míra není nulová, jde o to, že se posunula od většiny úspěšných pokusů k pár jednotlivým.
To v praxi znamená "ochranné mechanismy": sled pravděpodobností. Natrénované odmítnutí zachytí většinu. Klasifikátor zachytí většinu ze zbytku. Lidská kontrola zachytí část toho, co zůstane. Každá vrstva stojí latenci, peníze nebo falešná odmítnutí a dodavatel si vybírá bod na této křivce. Je AI bezpečné používat popisuje, co tento bod znamená pro rizika, kterým skutečně čelíte.
Proč jste pravděpodobně chtěli přeformulování, ne jailbreak
Mnoho lidí, kteří hledají jailbreak, bylo jen odmítnuto v něčem rozumném. Lékař ptající se na dávkování, spisovatel píšící padoucha, bezpečnostní výzkumník popisující reálný útok, historik citující skutečný text. Výše uvedený nárůst o 0,38 bodu je jen podíl klasifikátoru, natrénovaný zvyk odmítá sám o sobě a tuto míru nikdo nezveřejňuje.
Fungují dvě věci a ani jedna z nich není jailbreak. První je kontext. Odmítnutí je odhad modelu, že požadavek je škodlivý, a věta o tom, kdo jste a proč se ptáte, tento odhad mění: "Jsem lékárník, ověřuji pediatrickou dávku" je jiný vstup než holá otázka. Druhá je model. Dodavatelé kladou hranice na různá místa a požadavek, který jeden model odmítne, běžně zodpoví jiný, který ho považuje za obyčejný. V multi-modelovém pracovním prostoru je to jen změna přes výběr modelu, která stojí cenu druhého modelu, 1 kredit za Whizi AI nebo 10 za Claude Sonnet 5, a jak vybrat AI model popisuje rozdíly, které přesahují odmítnutí.
Co nefunguje a s čím Whizi nepomůže: prompty navržené tak, aby porazily zásady poskytovatele. Každý model na Whizi běží přes OpenRouter a příslušného poskytovatele, takže se na každou zprávu vztahují bezpečnostní vrstvy a zásady používání daného poskytovatele, a fungující jailbreak je porušením zásad u obou firem. Legitimní potřeba, tedy upřímná odpověď na legitimní otázku, se řeší tím, že se zeptáte přímo, a pokud jste odmítnuti, zeptáte se modelu s jinými zásadami.
Kam jailbreaking směřuje
Ve zveřejněných pracích jsou už vidět tři posuny. Vrstvy klasifikátorů se stávají standardem a míra jejich falešných odmítnutí je číslo, které je třeba sledovat, protože ochrana, jež blokuje lékárníka, je ochrana, kterou si lidé obcházejí. Modely s otevřenými váhami, kterými se zabývá průvodce open source LLM, mohou mít trénink na odmítání odstraněný doladěním, takže u těchto modelů je ochranný mechanismus tam, kde jsou hostovány, ne ve váhách. A agenti zvyšují sázky: jailbreaknutý chatbot něco řekne, co by neměl, zatímco jailbreaknutý agent s nástroji něco udělá, a proto na potvrzovacím kroku před akcí záleží víc než na jakémkoli odmítnutí.
- Berte odmítnutí jako odhad modelu ohledně záměru a před dalším pokusem přidejte jednu větu kontextu
- Když model odmítne rozumný požadavek, zeptejte se jiného modelu; dodavatelé kladou hranici na různá místa
- Čtěte bezpečnostní tvrzení dodavatelů jako míry a hledejte číslo falešných odmítnutí vedle míry úspěšnosti útoků
- Nepoužívejte zveřejněné jailbreak prompty; jsou opraveny během týdnů a porušují podmínky každého poskytovatele
- U všeho s napojenými nástroji vám má víc záležet na potvrzovacím kroku před akcí než na odmítnutích
Časté dotazy
Co znamená jailbreaking AI?
Přimět model, aby vygeneroval výstup, který by měl podle jeho bezpečnostního tréninku odmítnout, pomocí promptu s tímto záměrem: persony hrající roli, fiktivního rámování, zakódovaného požadavku nebo stovek příkladových výměn. Funguje to proto, že odmítnutí je naučený zvyk, ne pevné pravidlo, takže prompt, díky kterému vyhovění vypadá pravděpodobněji než odmítnutí, projde.
Je jailbreak AI nelegální?
Porušuje zásady používání každého velkého poskytovatele a může vést k zablokování účtu; zda je to nelegální, závisí na tom, k čemu je výstup použit a kde se nacházíte. Dodavatelé na to vypisují programy odměn za chyby, takže nalezení jailbreaku a jeho nahlášení je vítáno, zatímco jeho použití k získání škodlivého obsahu ne.
Co byl jailbreak DAN?
DAN, "Do Anything Now", byl prompt s hraním role, který kolovat na Redditu od prosince 2022 a přikazoval ChatGPT chovat se jako persona bez pravidel. Fungovalo to proto, že chování při odmítání bylo svázané s personou asistenta, a přestalo to fungovat během týdnů až měsíců, jak OpenAI model aktualizovalo. Každá nová verze cyklus opakovala.
Jak účinné jsou ochranné mechanismy AI?
Změřila to studie Anthropic o konstitučních klasifikátorech: 86 procent automatizovaných pokusů o jailbreak uspělo proti holému modelu a 4,4 procenta proti modelu s klasifikátory kontrolujícími vstupy a výstupy, za cenu 23,7 procenta výpočetního výkonu navíc na dotaz a nárůstu odmítnutí neškodných požadavků o 0,38 bodu. Ochranné mechanismy míru snižují, žádný dodavatel netvrdí nulu.
Co mám dělat, když AI odmítne rozumný požadavek?
Přidejte kontext, pak změňte model. Věta uvádějící, kdo jste a proč se ptáte, mění odhad modelu ohledně záměru. Pokud stále odmítá, model jiného dodavatele často odpoví, protože každý klade hranici jinak. Ve Whizi je to změna modelu v rámci stejné konverzace. Zveřejněné jailbreak prompty jsou rychle opravovány a porušují podmínky poskytovatelů.
