IA arabe : Claude Opus en tête des grands chatbots au test arabe de Stanford

Quelle est la meilleure IA pour l'arabe ?

Claude Opus est le meilleur des grands chatbots pour l'arabe, et deux spécialistes de l'arabe le devancent. Le CRFM de Stanford publie HELM Arabic avec Arabic.AI. Le classement note 41 modèles sur sept jeux de tests en arabe, des questions d'examens scolaires aux réponses fondées sur des documents récupérés. Voici la version du 25 juin 2026, score moyen sur 100 :

Les trois meilleurs chatbots généralistes se tiennent en deux points. Claude Opus mène à 84.1, GPT et Gemini Flash font jeu égal à 82.5. Au-dessus, LLM-X d'Arabic.AI affiche 91.9 et un modèle listé sous le nom incept-arabic-1 affiche 88.3. En dessous viennent les modèles arabes plus anciens : ALLaM 7B à 70.8 et la famille Jais 30B à 64.5. Arabic.AI est aussi le partenaire de Stanford sur ce classement, gardez-le en tête avant de lui accorder la première place.

Lisez le graphique avec une réserve. HELM désactive la réflexion et écarte tout modèle qui ne peut pas la couper. Aucun modèle Gemini Pro n'y figure, donc Google n'y est présent que par Flash. La famille GPT-6 et Jais 2 n'y sont pas non plus. Claude Opus mène donc les chatbots que Stanford a testés, pas tous les chatbots, et dans notre propre test plus bas, GPT Astra l'égale. Pour le duel plus large entre les trois grands assistants, voir ChatGPT vs Claude vs Gemini.

Comment 17 modèles s'en sortent-ils sur les questions arabes de Whizi ?

GPT Astra et Claude Opus sont à égalité en tête, avec 4 questions arabes justes sur 5. Cela vient de notre Multilingual LLM Bench, exécuté le 2 octobre 2026. Chaque modèle a reçu les mêmes 5 questions dans chacune des 30 langues, avec un raisonnement faible. Chaque réponse a été notée d'après une clé sourcée, et une réponse dans la mauvaise langue valait zéro.

Cinq questions, c'est un petit échantillon. Une seule question fait bouger le score arabe d'un modèle de 20 points : prenez ceci pour un ordre approximatif, pas pour un classement.

Le détail par type de question, aucun classement ne le montre. Les faits et le calcul de dates passaient bien. Les proverbes, non :

Chaque question de proverbe décrit un dicton par son sens et demande le dicton lui-même. Quinze modèles ont raté le premier, seize le second, et aucun n'a eu les deux. Claude Opus en a eu un. GPT Astra et Claude Fable ont eu l'autre.

La question de calendrier est le seul item arabe que nous publions. Elle date un acte du Caire du 23 Rajab 1219 AH dans le calendrier hégirien tabulaire, donne les règles, et demande le jour de la semaine et la date grégorienne 100 jours plus tard. Onze modèles sur 17 ont répondu mardi 5 février 1805.

N'utilisez pas ce bench pour comparer l'arabe aux autres langues. L'arabe a fait en moyenne 41.2% sur les 17 modèles et l'espagnol 25.9%. Cela dit plus sur la difficulté des cinq questions de chaque langue que sur la langue elle-même.

ChatGPT est-il bon en arabe ?

Oui, ChatGPT est bon en arabe standard moderne. GPT d'OpenAI a obtenu 82.5 sur HELM Arabic en juin 2026, à égalité avec Gemini Flash et 1.6 point derrière Claude Opus. Les chiffres d'OpenAI vont dans le même sens. Ses résultats simple-evals donnent à son modèle de raisonnement o3 0.904 en arabe et 0.906 en français, sur un test MMLU que des traducteurs professionnels ont réécrit en 14 langues.

Anthropic publie le même type de chiffre. Sa page sur le support multilingue place Claude Sonnet 4.5 à 97.2% de son score anglais en arabe, et le plus petit Claude Haiku 4.5 à 92.5%. Pour un grand chatbot, l'arabe est presque une langue de premier rang.

Le hic, c'est le dialecte. Un chatbot qui écrit un arabe standard impeccable répondra souvent en arabe standard à une question en égyptien ou en marocain, et c'est l'objet de la section suivante.

L'IA sait-elle écrire les dialectes arabes, ou seulement l'arabe standard moderne ?

L'IA comprend les dialectes arabes mieux qu'elle ne les écrit. L'étude AL-QASIDA a testé neuf modèles, dont GPT-4o, sur huit dialectes, de l'algérien au syrien. Ses auteurs écrivent que « LLMs do not produce DA as well as they understand it », DA désignant l'arabe dialectal. Ils ont trouvé les modèles assez fluides mais réticents. Ils en attribuent une part au post-entraînement, et ont constaté « that few-shot examples can overcome this deficiency ».

Les classements ne peuvent pas vous le montrer. Six des sept jeux de tests arabes de HELM sont à choix multiple, et aucun ne note une réponse écrite en dialecte. L'Open Arabic LLM Leaderboard, tenu par l'équipe OALL avec 2A2I, TII et Hugging Face, a reconstruit ses tests en février 2025 et abandonné ceux traduits automatiquement. Son équipe explique pourquoi : « Many tasks were direct translations from English, which frequently introduced linguistic and contextual mismatches. » Il est conçu pour les modèles ouverts : la communauté les soumet, le matériel de TII les exécute, et tous les modèles cités dans son article de lancement sont ouverts. Il ne vous dira donc pas où se situent ChatGPT ou Claude.

Les labos arabes disent la même chose de leur propre entraînement. L'article de TII sur Falcon-H1 Arabic, daté du 5 janvier 2026, affirme que « Arabic is not monolithic » et qu'il a élargi les sources de dialectes pour l'arabe égyptien, levantin, du Golfe et maghrébin.

Alors demandez le dialecte dans votre prompt. Nommez-le, nommez une ville, et montrez deux courts échanges. Collez ceci et changez le dialecte :

```

Réponds uniquement en arabe égyptien, comme on parle au Caire, pas en arabe standard moderne. Garde ce dialecte même si je passe à l'arabe standard ou à l'anglais. Imite le style de ces deux échanges :

Moi : ازيك؟ عامل ايه النهارده؟

Toi : الحمد لله كويس، وانت عامل ايه؟

Moi : عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

Toi : أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

Maintenant réponds à mon prochain message dans le même dialecte.

```

Remplacez « égyptien » et « Le Caire » par golfe et Dubaï, levantin et Beyrouth, ou marocain et Casablanca, et réécrivez les deux exemples dans ce dialecte. Gardez-les courts. Utilisez vos propres tournures si possible, car le modèle copie ce qu'il voit.

Quelle IA arabe native essayer : Jais, HUMAIN Chat, Fanar ou Falcon ?

Jais Chat et HUMAIN Chat sont les deux chatbots arabes natifs que vous pouvez télécharger aujourd'hui, et tous deux sont gratuits. Les labos du Golfe qui les portent vont vite, nous avons donc lu la page de chaque éditeur en octobre 2026 :

Chaque labo se note sur ses propres benchmarks, lisez donc leurs affirmations comme des affirmations. La fiche modèle d'Inception place Jais 2 70B à 70.71 sur le test génératif AraGen, contre 62.58 pour Qwen2.5 72B, mais ne le compare qu'à des modèles ouverts. TII indique que Falcon-H1 Arabic 34B obtient environ 75% sur l'Open Arabic LLM Leaderboard.

Les chiffres indépendants sont moins tendres avec les modèles arabes plus anciens. Sur HELM Arabic, ALLaM 7B a obtenu 70.8 et la famille Jais 30B 64.5, contre 84.1 pour Claude Opus. L'équipe de Stanford écrit que les modèles ouverts spécifiques à l'arabe « underperformed » et que cela « may be explained by the age of these models. » Jais 2 et Falcon-H1 Arabic sont plus récents que les versions de Jais et Falcon présentes sur ce classement.

Choisissez une appli locale quand les données ou le dialecte sont locaux. HUMAIN héberge HUMAIN Chat en Arabie saoudite pour respecter la loi de protection des données du royaume, selon la presse du lancement. Pour un travail mixte arabe et anglais, les grands chatbots battent encore les modèles arabes plus anciens sur HELM, le seul classement qui note les deux familles.

Où se place Whizi pour l'arabe ?

Whizi est notre produit, voici donc où il aide et où il perd. L'interface fonctionne en arabe, de droite à gauche. Pro à $29.99 par mois inclut Claude Opus, Gemini Pro, ChatGPT Sol et Kimi K3, et ses chats de modèles côte à côte envoient un même prompt arabe à deux modèles à la fois, chacun facturé à son propre tarif. GPT Astra, l'autre meilleur score de notre test, demande Powerhouse à $49.99. Starter à $15.99 donne ChatGPT Luna, qui a eu 2 de nos questions arabes sur 5, et Claude Haiku. Whizi perd sur le terrain local. Il ne propose aucun modèle Jais, ALLaM, Fanar ou Falcon : pour un hébergement des données en Arabie saoudite ou un spécialiste des dialectes du Golfe, HUMAIN Chat ou Jais Chat est le meilleur choix. Les chats de modèles côte à côte expliquent comment fonctionne la comparaison.