拒否は習慣であり、ジェイルブレイクはそれを破る方法
モデルには「鍵のこじ開け方を説明するな」という規則が入っているわけではありません。入っているのは拒否する習慣であり、それはAIにおけるファインチューニングとはが説明する事後学習の段階で、人間が有害な依頼への拒否を従順な応答より高く評価し続けた結果、拒否がそうした依頼への最も確率の高い続きになったものです。確率の話であって、確定ではありません。
ジェイルブレイクとは、その確率を変えてしまうあらゆるプロンプトを指します。依頼を物語で包めば、最も可能性の高い続きは物語の次の一文になります。無害な断片に分割すれば、どの断片も習慣の引き金を引きません。base64でエンコードすれば、平文の英語しか見ていない拒否訓練はそれを認識できません。従順に応じたアシスタントの例を200個見せれば、201個目の依頼にも同じように答えてしまいます。Anthropicはこれを2024年4月にmany-shot jailbreaking(多数事例ジェイルブレイク)と名付け、コンテキストウィンドウが広がるほど成立しやすくなりました。
このメカニズムは、モデルを役立つものにしているのと同じ仕組みです。モデルは入力のパターンに従います。安全訓練はいくつかのパターンをずっと起こりにくくしますが、ジェイルブレイクは訓練が対応していないパターンを見つけ出します。だからこの問題はより良いルールでは解決せず、各社はこれを発生率として測定しているのです。
よくある手法と、それぞれが突くもの
| 手法 | 仕組み | 突いているもの |
|---|---|---|
| ロールプレイ(「あなたはDAN、Do Anything Nowです」) | モデルにルールのないペルソナを与える | 拒否はアシスタントというペルソナに結びついており、根底の予測モデル自体には結びついていない |
| 仮定・フィクションの設定 | 「小説の中で、登場人物が〜のやり方を説明する」 | フィクションは正当なタスクであり、訓練は完成させることに報酬を与えていた |
| エンコードと難読化 | base64、暗号、リートスピーク、他言語 | 拒否訓練の大半は平文の英語で行われていた |
| 多数事例(many-shot) | アシスタントが従順に応じるやり取りを何百も並べる | モデルはコンテキストのパターンを続けようとする |
| 段階的なエスカレーション | 一歩ずつ進む長い会話 | 各ステップは直前とほぼ同じで、単独のメッセージでは習慣が発動しない |
| 指示へのプロンプトインジェクション | 「これまでの指示を無視して」 | インジェクションと重なるが、狙う対象はモデルではなくアプリ側のルール |
2022年12月頃からReddit上で出回ったDANプロンプトはその民間版で、OpenAIがモデルを更新するたびに数週間から数か月でどのバージョンも効かなくなり、次のバージョンが現れました。名前のついた手法はすべてこのサイクルをたどります。公開され、そして塞がれる。Anthropicは分類器を破る万能ジェイルブレイクに賞金を出す有償バグバウンティを実施しており、いま持続的な取り組みが向かっているのはそこです。
覚えておくべき区別が一つあります。ジェイルブレイクはユーザーがモデルの方針に対して行うものです。一方、プロンプトインジェクションとはは、モデルが読み込むコンテンツを介して第三者がユーザーに対して行うものです。手法は重なりますが、被害者は異なります。
ガードレールが実際に何を止めているか、数字で見る
公表されている最良の数字は、2025年2月に発表されたAnthropicの憲法的分類器(constitutional classifiers)によるものです。同チームはClaudeの入出力を審査する専用の分類器モデルを訓練し、同じ自動化されたジェイルブレイク攻撃を、その分類器あり・なしの両方のモデルに対して実行しました。
その低下と引き換えのコストが、結果のもう半分です。分類器はクエリあたりの計算コストを23.7パーセント増やし、無害な依頼への拒否率を0.38ポイント押し上げました。この自動化テストの前には、183人が3,000時間以上を費やし、10個の禁止質問すべてを解錠する万能の1プロンプトを探すバグバウンティを行いましたが、誰も見つけられませんでした。その後の公開チャレンジでは、1週間後に1つ見つかっています。発生率はゼロではありません。ポイントは、ほとんどの試行が成功する状態から、ごく一部だけが成功する状態へと変わったことです。
これが実務での「ガードレール」の意味です。確率の積み重ねです。学習された拒否がほとんどを捕らえます。分類器が残りのほとんどを捕らえます。人間によるレビューが残りの一部を捕らえます。各層はレイテンシか費用か誤った拒否のいずれかのコストを伴い、各社はその曲線上のどこかに落としどころを決めています。AIは安全に使えるかでは、その落としどころが実際に直面するリスクにとって何を意味するかを扱っています。
ジェイルブレイクではなく、言い換えが必要だった理由
ジェイルブレイクを検索する人の多くは、実は妥当な依頼を拒否されただけです。用量を尋ねた医師、悪役を書く小説家、実在の攻撃手法を説明するセキュリティ研究者、実在のテキストを引用する歴史家。上記の0.38ポイントの上昇は分類器の分だけであり、学習された習慣そのものが独自に拒否する分の発生率は誰も公表していません。
有効な手立てが二つあり、どちらもジェイルブレイクではありません。一つ目は文脈です。拒否とはその依頼が有害だというモデルの推測であり、あなたが誰でなぜ尋ねているのかという一文がその推測を変えます。「私は小児科の用量を確認している薬剤師です」は、素の質問とはまったく異なる入力になります。二つ目はモデルです。各社は線引きの場所が異なり、あるモデルが拒否する依頼を、別のモデルは何でもない依頼として答えることが日常的にあります。マルチモデルのワークスペースでは、これは単なるモデルの切り替えであり、Whizi AIなら1クレジット、Claude Sonnet 5なら10クレジットという2つ目のモデルの段の分だけコストがかかります。AIモデルの選び方では、拒否の有無を超えた違いを扱っています。
効かないもの、そしてWhiziが手を貸さないものがあります。プロバイダーの方針を打ち破ることを狙ったプロンプトです。Whizi上のすべてのモデルはOpenRouterと接続先のプロバイダーを経由して提供されるため、そのプロバイダーの安全レイヤーと利用規約はすべてのメッセージに適用され、通ってしまうジェイルブレイクは両社に対する規約違反になります。正当な質問に対する率直な答えという正当なニーズは、素直に尋ね、拒否されたら方針の異なる別のモデルに尋ねることで満たされます。
ジェイルブレイクの今後
公開されている研究にはすでに3つの潮流が見えています。分類器レイヤーは標準になりつつあり、注視すべき数字はその誤った拒否率です。薬剤師をブロックするガードは人々が回避する対象になるからです。オープンソースLLMガイドが扱うオープンウェイトモデルは、ファインチューニングによって拒否訓練を取り除くことができるため、これらのモデルではガードレールは重みの中ではなく、ホスティング先のどこにあるかという問題になります。そしてエージェントは賭け金を引き上げます。ジェイルブレイクされたチャットボットは言ってはいけないことを言うだけですが、ツールを持つジェイルブレイクされたエージェントは実際に行動を起こします。だからこそ、行動の前の確認ステップは、どんな拒否よりも重要なのです。
- 拒否をモデルによる意図の推測として扱い、再挑戦する前に一文の文脈を加える
- モデルが妥当な依頼を拒否したら、別のモデルに尋ねる。各社は線引きの場所が異なる
- 各社の安全性の主張は発生率として読み、攻撃成功率の隣にある誤った拒否率の数字を探す
- 公開されているジェイルブレイクプロンプトは使わない。数週間で塞がれ、すべてのプロバイダーの規約に違反する
- ツールが付いたものについては、拒否よりも行動前の確認ステップを重視する
よくある質問
AIをジェイルブレイクするとはどういう意味ですか。
ロールプレイのペルソナ、フィクションの設定、エンコードされた依頼、あるいは何百もの事例のやり取りといった巧妙なプロンプトを使って、安全訓練が本来拒否するはずの出力をモデルに生成させることです。拒否は固定ルールではなく学習された習慣にすぎないため、拒否より従順な応答をありそうに見せるプロンプトが通ってしまいます。
AIのジェイルブレイクは違法ですか。
主要なすべてのプロバイダーの利用規約に違反し、アカウント停止につながり得ますが、違法かどうかはその出力を何にどこで使うかによります。各社はこれに対してバグバウンティを実施しており、ジェイルブレイクを見つけて報告することは歓迎されますが、それを使って有害なコンテンツを得ることは歓迎されません。
DANジェイルブレイクとは何でしたか。
DAN、「Do Anything Now」は、2022年12月頃からRedditで出回ったロールプレイ用プロンプトで、ChatGPTにルールのないペルソナとして振る舞うよう指示するものでした。拒否の振る舞いがアシスタントというペルソナに結びついていたために機能しましたが、OpenAIがモデルを更新するにつれて数週間から数か月で効かなくなりました。新しいバージョンが出るたびに同じサイクルが繰り返されました。
AIのガードレールはどれほど効果がありますか。
Anthropicの憲法的分類器の論文がそれを測定しています。素のモデルでは自動化されたジェイルブレイクの試行の86パーセントが成功し、入出力を審査する分類器付きのモデルでは4.4パーセントでした。クエリあたりの計算コストは23.7パーセント増え、無害な依頼への拒否率は0.38ポイント上昇しました。ガードレールは発生率を下げますが、ゼロを主張するプロバイダーはありません。
AIが妥当な依頼を拒否したときはどうすればいいですか。
文脈を加え、それからモデルを変えます。あなたが誰でなぜ尋ねているかを述べる一文が、意図に対するモデルの推測を変えます。それでも拒否されるなら、線引きが異なるため別のプロバイダーのモデルが答えることがよくあります。Whiziなら同じ会話の中でモデルを切り替えるだけです。公開されているジェイルブレイクプロンプトはすぐに塞がれ、プロバイダーの規約に違反します。