WhiziでAIモデルを並べて比較する方法

結論

チャットヘッダーのCompareを押し、各列にモデルを選び、同じプロンプトを両方に送ります。各列は隠された会話を独自に保持するため、どちらのモデルも相手の出力を見ることがなく、どちらの答えも引きずられません。これこそがこの比較に価値がある理由そのものです。列は左から右へ順に生成されます。1つのアカウントにつき同時に1つの生成しか走らないためです。

サイドバイサイド比較はPowerhouse機能で、一度に2つのモデルを動かします。各回答はそのモデル自身のクレジット料率で課金されるため、10クレジットのモデルと20クレジットのモデルを比較すると30クレジットかかります。

ある種の作業でどのモデルを既定にすべきか決めるために使ってください。2つの答えを比較するのではなく1つの答えを改善したい場合は、別の方法を取ります。同じスレッド内でモデルを切り替え、2つ目のモデルに最初の答えを批評させるのです。

ベンチマークがあなたの疑問に答えない理由

公開されているベンチマークは標準化されたタスクでの性能を測ります。あなたの疑問はもっと狭く、もっと役立つものです。自分が週に20回行うその作業で、どのモデルが優れているか、というものです。これは別の問いであり、あなた自身の作業量を抱えている人は他にいないため、2つ目の問いに公開された答えは存在しません。

1つのプロンプトを2つのモデルに送るのは30秒ほどで、その問いに直接答えます。重要なのは2つの答えを得ることではなく、その差がどれほど大きいかがわかることです。出力がほぼ同一のこともあり、その場合はその作業についてモデル選びを考えるのをやめてよいとわかります。片方が使い物にならないこともあり、それはワークフローを組む前に知っておく価値があります。

比較がもう1つ捉えるのは、自信満々な誤りです。事実に関する質問で2つのモデルが実質的に異なる答えを出すとき、少なくとも一方は間違っており、どちらか一方だけを読んでいたら気づけなかったはずです。この兆候は、単一モデルのワークフローではどんな価格でも得られません。

読む前に「良い」の基準を決める

サイドバイサイド比較の落とし穴は、より長く、より自信ありげで、より洗練された出力を好んでしまうことです。それらは品質ではありません。先に基準を決めてから読んでください。

タスク	「良い」の意味	無視すべきもの
文章作成	そのまま送れるまでの編集が少ない	長さ、語彙、熱意
事実調査	主張を裏付け、確認できる出典	流暢さと自信
抽出	正しいスキーマ、架空フィールドなし、一貫したラベル	表の周りの文章の質
推論	手順が成り立ち、エッジケースに対応している	結論が自分の予想と一致するか
コード	失敗経路を処理し、レビューしやすい	巧妙さ、簡潔さ
要約	重要な点を残し、不要な点を落としている	網羅性

実用的なコツとして、どちらの出力も読む前に、良い答えに含まれるべき内容を一文で書き出しておきます。読むのは10秒で済み、無意識に強く働く「洗練バイアス」を防げます。

事実に関する質問では、勝者ではなく不一致に注目してください。2つのモデルが特定の数字と出典で一致していれば、その確信度は妥当です。食い違う箇所こそ確認すべき点であり、この演習全体の中で最も価値のある成果です。

本当の違いを引き出すプロンプト

モデルをはっきり分ける作業もあれば、そうでない作業もあります。比較から何かを学びたいなら、特定の能力に負荷をかけるプロンプトを使ってください。

• 困難な状況での口調。 締め切りに間に合わなかったことをクライアントに説明するメモを書いてください。過度に謝罪せず、言い訳もせず、責任を取る内容で。120語以内。 ここでは口調の違いがすぐに現れます。
• 厳密な抽出。 この文章からすべての日付、金額、当事者を、これらのキーを使ったJSON配列として抽出してください。フィールドが存在しない場合はnullを使い、推測はしないでください。 形式規律と、でっち上げる傾向を試します。
• 落とし穴のある推論。 直感的な解き方が誤りになる、比率や割合の問題など、もっともらしい誤答がある問題を与えます。近道を取るかどうかでモデルに差が出ます。
• 長文脈からの想起。 長い文書をアップロードし、途中にある内容について尋ねます。宣伝されている文脈長ではなく、実際に使える文脈が明らかになります。
• 無知を認めること。 [本当に無名か、非常に最近の何か]について何が発表されましたか？ 最良の答えは明確な「わかりません」か、出典のある取得結果です。ここでの捏造は失格です。
• 否定的な制約に従うこと。 比喩や例えを一切使わずにXを説明してください。 否定的な指示への従い方は、思っている以上にばらつきます。

パズルではなく自分の実際の仕事で比較を行ってください。ロジックパズルで優れているモデルより、あなたの四半期報告書で優れているモデルの方が役に立ちます。

1週間の比較をルーティングマップに変える

1回の比較は興味深いだけですが、1週間分の比較は行動につながります。ルーティンはこうです。

1. 5日間、重要な作業のたびに、1つではなく2つのモデルにかけてみます。
2. 作業の種類、勝者、差の大きさを記録します。3語で十分です。
3. 週の終わりに、どのモデルが繰り返し勝っていたか、どこで出力が互換的だったかを確認します。
4. そこから既定のモデルを決め、差が一貫してなかった作業では比較をやめます。

多くの人が気づくのは、比較が意味を持つのは自分の仕事のうち一部だけで、残りでは時間の無駄になるということです。素早い事実確認、単純な書き換え、日常的な整形はモデル間の差がほとんど出ません。顧客が読む文章、意思決定に使う調査、なじみのない事柄についての推論は、大きな差を生みます。

その結果こそが成果です。差が出ない場面での比較をやめ、結果を左右する作業のためだけに残せるようになります。

サイドバイサイド対シーケンシャル

区別しておく価値のある、2つの異なる手法です。

サイドバイサイドは、互いの出力を見ることができない2つのモデルに同じプロンプトを送ります。各列は独自の隠された会話を保持し、[Compare]という接頭辞が付けられてサイドバーには表示されません。そのため追加の質問をしても公正な比較のままです。どちらのモデルも独立した複数ターンの文脈を保持します。これは既定のモデルを選んだり、事実の食い違いを見つけたりするのに適した手法です。

シーケンシャルとは、答えを1つ得てから同じスレッド内でモデルを切り替え、新しいモデルにそれを批評させることです。比較を作るのではなく欠陥を見つけたいときに使います。2つ目のモデルが特定の論点に直接踏み込めるためです。会話の途中でモデルを切り替えるを参照してください。

大まかな目安として、どのモデルにするか決めるにはサイドバイサイド、答えを改善するにはシーケンシャルです。