ChatGPT アラビア語対応を比較：スタンフォードのアラビア語テストで主要チャットボット首位はClaude Opus

アラビア語に最も強いAIはどれ？

主要チャットボットの中でアラビア語に最も強いのはClaude Opusですが、アラビア語特化の2モデルはそれを上回ります。スタンフォードのCRFMはArabic.AIと共同でHELM Arabicを運営しています。学校の試験問題から、検索した文書をもとにした回答まで、7つのアラビア語テストセットで41モデルを採点します。2026年6月25日公開分の、100点満点の平均スコアは次のとおりです。

汎用チャットボットの上位3つは2点差以内に収まっています。先頭はClaude Opusの84.1で、GPTとGemini Flashが82.5で並びます。その上には、Arabic.AIのLLM-Xが91.9、incept-arabic-1として掲載されたモデルが88.3で位置します。下には旧世代のアラビア語モデルが続き、ALLaM 7Bは70.8、30BのJaisファミリーは64.5です。なお、Arabic.AIはこのリーダーボードでスタンフォードの共同運営者でもあるため、同社の首位はその点を踏まえて見てください。

このチャートには注意点が1つあります。HELMは思考機能をオフにして測定し、オフにできないモデルは除外します。そのためGemini Proのモデルは載っておらず、Googleの掲載はFlashのみです。GPT-6ファミリーとJais 2も載っていません。つまりClaude Opusが首位なのはスタンフォードが検証したチャットボットの中での話で、すべてのチャットボットの中ではありません。後述するWhizi独自のテストではGPT Astraが並びました。3大アシスタントの比較はChatGPT vs Claude vs Geminiをご覧ください。

Whizi独自のアラビア語テストで17モデルはどうだった？

GPT AstraとClaude Opusがアラビア語5問中4問正解で首位に並びました。これは2026年10月2日に実施したMultilingual LLM Benchの結果です。全モデルに30言語それぞれで同じ5問を、低い推論設定で出題しました。回答は出典付きの正解キーで採点し、言語を間違えた回答は0点にしています。

5問は小さなサンプルです。1問でそのモデルのアラビア語スコアが20ポイント動くため、順位ではなくおおまかな序列として見てください。

どのリーダーボードにも出ないのが、問題タイプ別の内訳です。事実問題と日付計算は問題ありませんでした。諺はそうではありませんでした。

諺の問題はどちらも、ある言い回しを意味で説明し、その言い回し自体を答えさせます。1問目は15モデルが、2問目は16モデルが外し、両方正解したモデルはありませんでした。Claude Opusは片方に正解し、もう片方にはGPT AstraとClaude Fableが正解しました。

暦の問題は公開しているアラビア語の唯一の出題です。カイロの証書の日付をイスラム暦(表計算方式)の1219年ラジャブ月23日とし、規則を示したうえで、100日後の曜日とグレゴリオ暦の日付を尋ねます。17モデル中11モデルが「1805年2月5日、火曜日」と答えました。

このベンチでアラビア語を他の言語と比べるのはやめてください。17モデルの平均はアラビア語が41.2%、スペイン語が25.9%でしたが、これは言語そのものより、各言語の5問の難しさを表しています。

ChatGPTはアラビア語が得意？

はい、ChatGPTは現代標準アラビア語(MSA)が得意です。OpenAIのGPTは2026年6月のHELM Arabicで82.5を記録し、Gemini Flashと同点、Claude Opusに1.6ポイント差でした。OpenAI自身の数字も同じ方向を示しています。simple-evalsの結果では、プロの翻訳者が14言語に書き直したMMLUテストで、推論モデルのo3がアラビア語0.904、フランス語0.906でした。

Anthropicも同種の数値を公表しています。多言語サポートのページでは、Claude Sonnet 4.5のアラビア語は英語スコアの97.2%、小型のClaude Haiku 4.5は92.5%とされています。大手チャットボットにとって、アラビア語はほぼ第一級の言語です。

落とし穴は方言です。きれいなMSAを書くチャットボットでも、エジプトやモロッコの方言で質問されてMSAで答えることがよくあります。次のセクションで詳しく見ます。

AIはアラビア語の方言を書ける？それとも現代標準アラビア語だけ？

AIはアラビア語の方言を、書くよりも理解する方が得意です。AL-QASIDA研究は、GPT-4oを含む9モデルをアルジェリアからシリアまで8つの方言でテストしました。著者は「LLMは方言アラビア語(DA)を理解するほどには生成できない」と書いています。モデルは十分流暢だが乗り気ではない、という結果で、原因の一部は事後学習にあるとし、「少数の例文でこの弱点を克服できる」ことを確認しました。

リーダーボードではこの点はわかりません。HELMの7つのアラビア語テストセットのうち6つは選択式で、方言で書かれた返答を採点するものは1つもありません。OALL、2A2I、TII、Hugging Faceが運営するOpen Arabic LLM Leaderboardは、2025年2月にテストを作り直し、機械翻訳のものを外しました。その理由は「多くの課題が英語の直訳で、言語面と文脈面のずれが頻繁に生じていた」からだと説明しています。これはオープンモデル向けで、コミュニティが提出し、TIIのハードウェアで実行され、公開時の記事に名前が出るのもすべてオープンモデルです。そのためChatGPTやClaudeの位置はここからはわかりません。

アラビア語の研究機関も、自分たちの学習について同じことを言っています。TIIが2026年1月5日に公開したFalcon-H1 Arabicの記事は「アラビア語は一枚岩ではない」と述べ、エジプト、レバント、湾岸、マグリブの各方言のデータ源を広げたとしています。

ですから方言は指定してください。方言名と都市名を伝え、短いやり取りを2つ見せます。次をコピーして、方言を入れ替えてください。

```

Reply only in Egyptian Arabic, the way people talk in Cairo, not in Modern Standard Arabic. Keep this dialect even if I switch to MSA or English. Match the style of these two exchanges:

Me: ازيك؟ عامل ايه النهارده؟

You: الحمد لله كويس، وانت عامل ايه؟

Me: عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

You: أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

Now answer my next message in the same dialect.

```

「Egyptian」と「Cairo」を、湾岸とドバイ、レバントとベイルート、モロッコとカサブランカなどに替え、2つの例文もその方言で書き直します。例文は短くしてください。モデルは見たものをそのまま真似するので、できれば自分の言い回しを使いましょう。

アラビア語特化AIはどれを試す？Jais、HUMAIN Chat、Fanar、Falcon

今すぐダウンロードできるアラビア語特化チャットボットはJais ChatとHUMAIN Chatの2つで、どちらも無料です。開発元の湾岸の研究機関は更新が速いので、2026年10月に各社の公式ページを確認しました。

各社は自社のベンチマークで自己採点しているので、主張は主張として読んでください。Inceptionのモデルカードは、Jais 2 70BをAraGen生成テストで70.71、Qwen2.5 72Bを62.58としていますが、比較対象はオープンモデルだけです。TIIは、Falcon-H1 Arabic 34BがOpen Arabic LLM Leaderboardでおよそ75%だとしています。

第三者の数字は、旧世代のアラビア語モデルに厳しいものです。HELM ArabicではALLaM 7Bが70.8、30BのJaisファミリーが64.5で、Claude Opusの84.1に届きません。スタンフォードのチームは、アラビア語特化のオープンモデルは「期待を下回った」とし、「モデルの古さで説明できる可能性がある」と書いています。Jais 2とFalcon-H1 Arabicは、そのボードにあるJaisやFalconの版より新しいモデルです。

データや方言が現地のものなら、現地のアプリを選びましょう。起動時の報道によれば、HUMAINはサウジアラビアの個人データ保護法に対応するため、HUMAIN Chatを国内でホストしています。アラビア語と英語が混ざる作業では、両方を採点する唯一のリーダーボードであるHELMで、大手チャットボットが旧世代のアラビア語モデルを上回っています。

アラビア語でWhiziはどう使える？

Whiziは当社の製品なので、役に立つ点と負ける点を正直に書きます。画面はアラビア語の右から左の表示に対応しています。月額$29.99のProには、Claude Opus、Gemini Pro、ChatGPT Sol、Kimi K3が含まれ、モデル横並びチャットでは1つのアラビア語プロンプトを2つのモデルに同時に送れます(課金はそれぞれのモデルの料金です)。テストで並んだもう一方のGPT Astraは、月額$49.99のPowerhouseが必要です。月額$15.99のStarterにはChatGPT Lunaが入っていますが、当社のアラビア語テストでは5問中2問の正解でした。Claude Haikuも使えます。Whiziが及ばないのは現地向けの部分です。Jais、ALLaM、Fanar、Falconのモデルは扱っていないため、サウジでのデータホスティングや湾岸方言の専門性が必要なら、HUMAIN ChatかJais Chatの方が適しています。比較機能の使い方はモデル横並びチャットをご覧ください。