ChatGPT arabo e le altre IA: Claude Opus guida i grandi chatbot nel test di Stanford sull'arabo

Qual è la migliore IA per l'arabo?

Claude Opus è il migliore dei grandi chatbot per l'arabo, e due specialisti arabi lo superano. Il CRFM di Stanford gestisce HELM Arabic insieme ad Arabic.AI. La classifica valuta 41 modelli su sette set di test in arabo, dalle domande d'esame scolastico alle risposte costruite su documenti recuperati. Ecco la release del 25 giugno 2026, punteggio medio su 100:

I primi tre chatbot generalisti stanno a meno di due punti l'uno dall'altro. Claude Opus guida con 84.1, mentre GPT e Gemini Flash pareggiano a 82.5. Sopra di loro, LLM-X di Arabic.AI ottiene 91.9 e un modello indicato come incept-arabic-1 ottiene 88.3. Sotto ci sono i modelli arabi più vecchi: ALLaM 7B a 70.8 e la famiglia Jais da 30B a 64.5. Arabic.AI è anche partner di Stanford per la classifica, quindi valuta il suo primo posto tenendone conto.

Leggi il grafico con una precisazione. HELM disattiva il ragionamento e esclude i modelli che non si possono spegnere. Nessun modello Gemini Pro è presente, quindi Google compare solo con Flash. Mancano anche la famiglia GPT-6 e Jais 2. Quindi Claude Opus guida i chatbot testati da Stanford, non tutti i chatbot, e nel nostro test qui sotto GPT Astra lo ha pareggiato. Per il confronto più ampio tra i tre grandi assistenti, vedi ChatGPT vs Claude vs Gemini.

Come se la sono cavata 17 modelli con le domande di arabo di Whizi?

GPT Astra e Claude Opus sono in testa a pari merito, con 4 domande su 5 in arabo giuste. Il dato viene dal nostro Multilingual LLM Bench, eseguito il 2 ottobre 2026. Ogni modello ha ricevuto le stesse 5 domande in ciascuna di 30 lingue, con ragionamento basso. Ogni risposta è stata valutata su una chiave con fonti, e una risposta nella lingua sbagliata valeva zero.

Cinque domande sono un campione piccolo. Una sola domanda sposta di 20 punti il punteggio di arabo di un modello, quindi leggi questo come un ordine approssimativo, non come una classifica.

La suddivisione per tipo di domanda è la parte che nessuna classifica mostra. Fatti e calcoli di date sono andati bene. I proverbi no:

Ogni domanda sui proverbi descrive un detto attraverso il suo significato e chiede il detto stesso. Quindici modelli hanno sbagliato il primo, sedici il secondo, e nessuno li ha azzeccati entrambi. Claude Opus ne ha azzeccato uno. GPT Astra e Claude Fable l'altro.

La domanda sul calendario è l'unica in arabo che pubblichiamo. Data un atto del Cairo al 23 Rajab 1219 AH sul calendario Hijri tabulare, fornisce le regole e chiede il giorno della settimana e la data gregoriana 100 giorni dopo. Undici modelli su 17 hanno risposto martedì 5 febbraio 1805.

Non usare il bench per confrontare l'arabo con altre lingue. L'arabo ha una media del 41.2% sui 17 modelli e lo spagnolo del 25.9%. Questo dice più sulla difficoltà delle cinque domande di ogni lingua che sulla lingua stessa.

ChatGPT è bravo in arabo?

Sì, ChatGPT è bravo in arabo standard moderno. GPT di OpenAI ha ottenuto 82.5 su HELM Arabic a giugno 2026, alla pari con Gemini Flash e a 1.6 punti da Claude Opus. I numeri di OpenAI vanno nella stessa direzione. I suoi risultati simple-evals danno al modello di ragionamento o3 un 0.904 in arabo e 0.906 in francese, su un test MMLU riscritto da traduttori professionisti in 14 lingue.

Anthropic pubblica lo stesso tipo di dato. La sua pagina sul supporto multilingue indica Claude Sonnet 4.5 al 97.2% del punteggio in inglese per l'arabo, e il più piccolo Claude Haiku 4.5 al 92.5%. Per un grande chatbot, l'arabo è quasi una lingua di prima classe.

Il problema è il dialetto. Un chatbot che scrive un ottimo arabo standard spesso risponde comunque in arabo standard a una domanda in egiziano o marocchino, ed è il tema della prossima sezione.

L'IA sa scrivere i dialetti arabi o solo l'arabo standard moderno?

L'IA capisce i dialetti arabi meglio di come li scrive. Lo studio AL-QASIDA ha testato nove modelli, GPT-4o compreso, su otto dialetti dall'algerino al siriano. Gli autori scrivono che "LLMs do not produce DA as well as they understand it", dove DA indica l'arabo dialettale. Hanno trovato i modelli abbastanza fluenti ma riluttanti. Danno parte della colpa al post-training, e hanno scoperto "that few-shot examples can overcome this deficiency."

Le classifiche non possono mostrarlo. Sei dei sette set di test arabi di HELM sono a scelta multipla, e nessuno valuta una risposta scritta in dialetto. L'Open Arabic LLM Leaderboard, gestita dal team OALL con 2A2I, TII e Hugging Face, ha ricostruito i suoi test a febbraio 2025 eliminando quelli tradotti a macchina. Il team ha spiegato il perché: "Many tasks were direct translations from English, which frequently introduced linguistic and contextual mismatches." È pensata per i modelli aperti: la community li invia, l'hardware di TII li esegue, e ogni modello citato nel post di lancio è aperto. Quindi non mostra dove si colloca ChatGPT o Claude.

I laboratori arabi dicono la stessa cosa sul proprio addestramento. Il post di TII su Falcon-H1 Arabic, del 5 gennaio 2026, afferma "Arabic is not monolithic" e che ha ampliato le fonti dialettali per l'arabo egiziano, levantino, del Golfo e maghrebino.

Quindi nel prompt indica il dialetto. Nominalo, nomina una città e mostra due brevi scambi. Incolla questo e cambia il dialetto:

```

Rispondi solo in arabo egiziano, come si parla al Cairo, non in arabo standard moderno. Mantieni questo dialetto anche se passo all'arabo standard o all'inglese. Segui lo stile di questi due scambi:

Me: ازيك؟ عامل ايه النهارده؟

You: الحمد لله كويس، وانت عامل ايه؟

Me: عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

You: أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

Ora rispondi al mio prossimo messaggio nello stesso dialetto.

```

Sostituisci "egiziano" e "Cairo" con Golfo e Dubai, levantino e Beirut, oppure marocchino e Casablanca, e riscrivi i due esempi in quel dialetto. Tieni gli esempi brevi. Usa parole tue se puoi, perché il modello copia ciò che vede.

Quale IA nativa araba provare: Jais, HUMAIN Chat, Fanar o Falcon?

Jais Chat e HUMAIN Chat sono i due chatbot nativi arabi scaricabili oggi, ed entrambi sono gratuiti. I laboratori del Golfo che li producono rilasciano in fretta, quindi a ottobre 2026 abbiamo letto la pagina di ciascun fornitore:

Ogni laboratorio si valuta sui propri benchmark, quindi leggi le loro affermazioni come affermazioni. La scheda del modello di Inception dà a Jais 2 70B un 70.71 sul test generativo AraGen, contro 62.58 di Qwen2.5 72B, ma confronta solo modelli aperti. TII dice che Falcon-H1 Arabic 34B ottiene circa il 75% sull'Open Arabic LLM Leaderboard.

I numeri indipendenti sono meno generosi con i modelli arabi più vecchi. Su HELM Arabic, ALLaM 7B ha ottenuto 70.8 e la famiglia Jais da 30B 64.5, contro 84.1 di Claude Opus. Il team di Stanford ha scritto che i modelli aperti specifici per l'arabo hanno "underperformed" e che questo "may be explained by the age of these models." Jais 2 e Falcon-H1 Arabic sono più recenti delle versioni di Jais e Falcon presenti in quella classifica.

Scegli un'app locale quando i dati o il dialetto sono locali. Secondo la copertura del lancio, HUMAIN ospita HUMAIN Chat in Arabia Saudita per rispettare la legge sulla protezione dei dati del regno. Per un lavoro misto arabo e inglese, i grandi chatbot battono ancora i modelli arabi più vecchi su HELM, l'unica classifica che valuta entrambi i tipi.

Dove si colloca Whizi per l'arabo?

Whizi è il nostro prodotto, quindi ecco dove aiuta e dove perde. L'interfaccia funziona in arabo, da destra a sinistra. Pro a $29.99 al mese include Claude Opus, Gemini Pro, ChatGPT Sol e Kimi K3, e le sue chat affiancate fra modelli fanno girare uno stesso prompt arabo su due modelli insieme, ciascuno fatturato alla propria tariffa. GPT Astra, l'altro migliore del nostro test, richiede Powerhouse a $49.99. Starter a $15.99 include ChatGPT Luna, che ha risposto giusto a 2 domande su 5 di arabo, e Claude Haiku. Whizi perde sul versante locale. Non ha modelli Jais, ALLaM, Fanar o Falcon, quindi per l'hosting dei dati in Arabia Saudita o per uno specialista di dialetti del Golfo, HUMAIN Chat o Jais Chat sono la scelta migliore. Le chat affiancate fra modelli mostrano come funziona il confronto.