AIが間違える理由と、痛い目を見る前に見抜く方法

専門用語なしで見る仕組み

AIチャットボットに質問しても、それは何かを調べに行っているのではありません。その質問への正しい答えがふつうどう書かれるか、その形に合う文章を数文字ずつ作っています。仕事はそれで全部です。形に合うことと真実であることは別々の的であり、この過程はそのうち後者を狙っていません。

ふだんは気づきません。2つの的が重なっているからです。学習した文章の多くは、多くの場合正しかった人たちが書いたものなので、答えらしい形の文章はたいてい正しい文章でもあります。ただし端の方では重なりが薄くなります。珍しい事実、最近の事実、非常に具体的な事実、あるいはモデルが読んだ中に単に存在しない事実です。その端でも、正しい答えの形を作るのは相変わらず簡単です。難しいのはその中身を作ることです。こうして、事実のように組み立てられ、しかるべき位置に数字が入り、それらしい名前が添えられた、実際には起きていないことを述べる一文が出てきます。

当然の聞き返しがうまくいかない理由も、これで説明できます。「本当に？」と聞くと監査したような気になりますが、監査にはなっていません。同意することは役に立つ返事の形に合うので、圧をかければ同意が返りやすく、モデルは謝って正しい答えをより悪い答えに置き換えてしまうことがよくあります。2分で試せます。自分がすでに知っていることを聞き、正しい答えを受け取ってから、「それは違う気がする」と言って見てみてください。返ってくるのは第二の意見ではなく、同じ機械が感じよく同意する文章を作っているだけです。この土台がどう作られているのかについては、AIとは何かが数式なしで扱っています。

間違いがいちばん集まる5つの場所

間違いは、聞きうるあらゆることに均等にばらまかれているわけではありません。かたまっています。この5つのかたまりを覚えると、ちょうどよい瞬間に鳴る小さな警報が自分の中にできます。それは、常に鳴り続けてやがて鳴らなくなる漠然とした警戒心より、はるかに価値があります。

つまずく場所	どう見えるか	一行の例
具体的な事実や数字	裏づけのない、やけに正確な数値	近所の店の創業を1994年ではなく1987年と言う
出典、引用、リンク	それらしい題名、それらしいURL、どれも開けない	実在の研究者2人が実在の学術誌に書いた、書かれていない論文
学習の締め切り以降のこと	数か月前で止まった世界についての自信ありげな回答	3月に変わったプランの、去年の月額を答える
計算と数え上げ	手順は正しく、合計が違う	請求明細11行を足して40ドルずれる
答えを含んだ質問	分析の体裁をした同意	「なぜXの方が良いのですか」と聞くとXを擁護し、前提は疑わない

最後の行は自分で招くもので、実際の利用ではいちばんよく起きます。「なぜXはYより良いのか」と聞けば、ほぼ確実にXを擁護する答えが返り、「〜ですよね」「〜というのは本当ですよね」を含む質問はたいてい肯定を引き出します。代わりにこう聞きましょう。「この状況でXとYを比べて、そのうえで、あなたが選んだ方に対する最も強い反論を教えてください。」答えを忍び込ませない聞き方をすることが、世間でいうプロンプトの半分であり、残りの半分はAIへの話しかけ方が扱っています。早めに知っておく価値のあるクセがもう1つ。とても長い会話の中や、とても長い文書を貼ったあとでは、序盤の細部がモデルの視界から滑り落ちることがあり、モデルは筋を見失ったと告げる代わりに穴を埋めてしまいます。これは真実の問題というより容量の限界で、その天井がどこにあるかはコンテキストウィンドウとはが説明しています。

自信ありげな口調は、はったりではありません

ここに来る多くの人は、もっともらしい前提を持っています。あれは自分がどれくらい確かかを知っていて、有能に見せるために迷いを隠しているのだ、というものです。この前提は間違いで、しかも厄介です。もともと存在しない自信の合図を、探し回ることになるからです。

あなたに隠されている自信メーターなどありません。内部で62パーセントという数字を握りしめ、100パーセントの口ぶりを選んでいるわけではないのです。誤った答えも正しい答えも、同じ過程で、同じ滑らかさで作られます。だからこそここでは、人間相手とは違って、口調が合図として無価値なのです。「完全には確かではありませんが」といった前置きも、同じく生成された文章です。それが出てくるのは、その形の質問にその言い回しが合うからであって、内部で何かが警報を鳴らしたからではありません。10点満点で自信を答えてと頼めば数字は返ってきますし、しばしば高い数字が、すぐ隣にある捏造された出典と並びます。その点数も、出典と同じ過程で作られたものです。

ですから「確実なときだけ答えて」「作り話はしないで」といった指示は、期待されるほどには効きません。大事な質問に「わからないときはわからないと言って」と添えるのは今でも意味があります。最近のモデルは以前より素直に断るようになったからです。ただし保証ではなく、後押し程度に考えてください。この考えの信頼できる形は、外を向いています。答えに、自分で開けるものを見せさせるのです。アプリがウェブを検索してリンクを添えてくれるなら、そのページを自分で読めるので、言葉を鵜呑みにする必要がなくなります。記憶だけで答えているときは、その言葉しか手元にありません。

手間の少ない順に、4つの確認

すべてを確認することはできませんし、やろうとすれば結局何も確認しなくなります。欲しいのは、間違いの代償より安く済む確認です。この4つはほぼ無料から少し面倒までの順で、たいていの質問は最初に手が伸びたもので足ります。

1. 出典を求め、そして開く。 儀式として「出典を示して」と言うのではありません。クリックするのです。リンクが切れている、あるいは開いたページにその主張がない。それで10秒ほどで決着します。
2. 新しいチャットでもう一度聞く。 同じ質問を、それまでのやり取りを引きずらない新しい会話で。数字、名前、日付が違って返ってくるなら、モデルは思い出していたのではなく穴を埋めていたのです。費用はゼロで、捏造された具体の驚くほど多くを捕まえます。
3. 別のモデルに聞く。 事実の質問において、単体で最も価値の高い確認です。同じ質問を別の会社の製品に貼り、口調ではなく具体を比べましょう。
4. ふつうに検索する。 送る、署名する、公開する、お金を使う、そういうものには90秒だけ検索エンジンを使いましょう。AIは優秀な下調べです。下調べは検証ではありません。

3つ目にはそれだけの価値があります。別々の会社が、別々のデータを、別々の方法で学習させた2つのモデルが、同じ質問について両方とも間違うことはあります。しかし同じ嘘の細部を作り出すことは、まずありません。捏造された具体は、その1つの仕組みが持つ特有の穴から出てくるからです。ClaudeとChatGPTが独立に同じ数字を出してきたなら、その数字はおそらく本物です。食い違ったなら、確認すべき一文がどれかがはっきりします。答えのどこかがおかしい気がする、という漠然とした感覚よりずっとましです。たまの確認なら、2社の無料枠で足りますし費用もかかりません。ただし相互確認が習慣になると無料では済まなくなります。有料の利用は1社あたり月20ドル前後だからです。マルチモデルの契約であるWhiziが埋めているのは、その差です。複数のモデルを組み合わせて使うで、その進め方を具体的に説明しています。

大事な場面と、まったく大事でない場面

何にでも当てはめる確認の習慣は、1週間で崩れます。あなたが聞くことの多くはリスクが低く、しかも自分で確かめられます。自分のメールを短くしてと頼めば、短くなったかどうかも、言いたいことが残っているかどうかも自分で見えます。発想出し、名前づけ、構成案、下書き、送る前に自分が読む翻訳、散らかったメモの箇条書き化も同じです。あなた自身が確認役であり、間違いは目の前ですぐ表に出ます。

どんな作業も、2つの質問で正しい箱に分けられます。自分に問うのに3秒ほどしかかかりません。

1. これが間違っていたら、誰がいつ気づくか。 読んでいる10秒後の自分か、それとも3か月後の取引先か。
2. 取り消せるか。 よくない段落を消すのは無料です。確定申告のやり直し、送った見積もりの撤回、支払いの取り消しはそうではありません。

どちらかの答えで手が止まるなら、行動に移す前に具体的な主張をすべて確認しましょう。この箱に明らかに入るのは、薬の名前と用量、法的な期限や提出期限、税額、契約条件、誰かの健康や在留資格に関わること、そしてお金を動かしたり個人情報を扱ったりするコードです。メールの言葉選びが1つ変でも、1日だけ少し妙な人に見えるだけです。用量の誤りや期限切れは、あとからAIが処理してくれるものではありません。AIは安全に使えるかがその側面を、絶対に貼ってはいけないものも含めて詳しく扱っています。まずは1つの習慣から。答えの中に数字、名前、日付、リンクが出てきた瞬間に、その部分だけを未確認として扱い、確かめる。残りはたいてい問題ありません。