AI bahasa Arab terbaik: Claude Opus memimpin chatbot besar di tes Arab Stanford

AI mana yang terbaik untuk bahasa Arab?

Claude Opus adalah yang terbaik di antara chatbot besar untuk bahasa Arab, dan dua spesialis Arab mengalahkannya. CRFM Stanford menjalankan HELM Arabic bersama Arabic.AI. Papan ini menilai 41 model pada tujuh set tes bahasa Arab, dari soal ujian sekolah sampai jawaban berbasis dokumen yang diambil. Ini rilis 25 Juni 2026, skor rata-rata dari 100:

Tiga chatbot umum teratas hanya berjarak dua poin. Claude Opus memimpin dengan 84.1, sementara GPT dan Gemini Flash sama di 82.5. Di atas mereka, LLM-X dari Arabic.AI meraih 91.9 dan model bernama incept-arabic-1 meraih 88.3. Di bawah mereka ada model Arab yang lebih lama: ALLaM 7B di 70.8 dan keluarga Jais 30B di 64.5. Arabic.AI juga mitra Stanford untuk papan peringkat ini, jadi timbang posisi puncaknya dengan catatan itu.

Baca grafik ini dengan satu catatan. HELM mematikan mode berpikir, dan mengeluarkan model yang tidak bisa dimatikan mode berpikirnya. Tidak ada model Gemini Pro di sana, jadi Google hanya hadir sebagai Flash. Keluarga GPT-6 dan Jais 2 juga tidak ada. Jadi Claude Opus memimpin chatbot yang diuji Stanford, bukan semua chatbot, dan di tes kami di bawah, GPT Astra menyamainya. Untuk adu lebih luas antara tiga asisten besar, lihat ChatGPT vs Claude vs Gemini.

Bagaimana hasil 17 model pada pertanyaan Arab milik Whizi sendiri?

GPT Astra dan Claude Opus sama-sama di puncak, dengan 4 dari 5 pertanyaan Arab benar. Ini dari Multilingual LLM Bench kami, dijalankan pada 2 Oktober 2026. Setiap model mendapat 5 pertanyaan yang sama di masing-masing dari 30 bahasa, dengan penalaran rendah. Tiap jawaban dinilai terhadap kunci bersumber, dan jawaban dalam bahasa yang salah mendapat nol.

Lima pertanyaan adalah sampel kecil. Satu pertanyaan menggeser skor Arab sebuah model sebesar 20 poin, jadi anggap ini urutan kasar, bukan peringkat.

Pembagian menurut jenis pertanyaan adalah bagian yang tidak ditunjukkan papan peringkat mana pun. Fakta dan hitungan tanggal beres. Peribahasa tidak:

Setiap pertanyaan peribahasa menggambarkan sebuah ungkapan lewat maknanya dan meminta ungkapan itu sendiri. Lima belas model salah pada yang pertama, enam belas salah pada yang kedua, dan tidak ada yang benar keduanya. Claude Opus benar satu. GPT Astra dan Claude Fable benar yang lain.

Pertanyaan kalender adalah satu-satunya soal Arab yang kami publikasikan. Soal ini menanggalkan sebuah akta di Kairo pada 23 Rajab 1219 H menurut kalender Hijriah tabular, memberi aturannya, lalu menanyakan hari dan tanggal Masehi 100 hari kemudian. Sebelas dari 17 model menjawab Selasa, 5 Februari 1805.

Jangan pakai bench ini untuk membandingkan bahasa Arab dengan bahasa lain. Rata-rata Arab di 17 model adalah 41.2% dan Spanyol 25.9%. Itu lebih menunjukkan seberapa sulit lima soal tiap bahasa daripada bahasanya sendiri.

Apakah ChatGPT bagus dalam bahasa Arab?

Ya, ChatGPT bagus dalam bahasa Arab Baku Modern. GPT dari OpenAI meraih 82.5 di HELM Arabic pada Juni 2026, setara Gemini Flash dan 1.6 poin di bawah Claude Opus. Angka OpenAI sendiri searah. Hasil simple-evals mereka menempatkan model penalaran o3 di 0.904 untuk bahasa Arab dan 0.906 untuk bahasa Prancis, pada tes MMLU yang ditulis ulang penerjemah profesional dalam 14 bahasa.

Anthropic menerbitkan angka sejenis. Halaman dukungan multibahasa mereka menempatkan Claude Sonnet 4.5 di 97.2% dari skor bahasa Inggrisnya untuk bahasa Arab, dan Claude Haiku 4.5 yang lebih kecil di 92.5%. Bagi chatbot besar, bahasa Arab hampir menjadi bahasa kelas satu.

Masalahnya ada di dialek. Chatbot yang menulis MSA dengan bersih sering tetap menjawab pertanyaan berdialek Mesir atau Maroko dalam MSA, dan itu dibahas di bagian berikutnya.

Bisakah AI menulis dialek Arab, atau hanya Arab Baku Modern?

AI lebih memahami dialek Arab daripada menuliskannya. Studi AL-QASIDA menguji sembilan model, termasuk GPT-4o, pada delapan dialek dari Aljazair sampai Suriah. Para penulisnya menyatakan "LLMs do not produce DA as well as they understand it", dengan DA berarti dialectal Arabic. Mereka menemukan model cukup fasih tetapi enggan. Sebagian mereka timpakan pada pasca-pelatihan, dan menemukan "that few-shot examples can overcome this deficiency."

Papan peringkat tidak bisa menunjukkan ini. Enam dari tujuh set tes Arab HELM berupa pilihan ganda, dan tak satu pun menilai balasan yang ditulis dalam dialek. Open Arabic LLM Leaderboard, dijalankan tim OALL bersama 2A2I, TII, dan Hugging Face, membangun ulang tesnya pada Februari 2025 dan membuang yang diterjemahkan mesin. Tim mereka menjelaskan alasannya: "Many tasks were direct translations from English, which frequently introduced linguistic and contextual mismatches." Papan ini dibuat untuk model terbuka: komunitas yang mengirimkannya, perangkat keras TII yang menjalankannya, dan setiap model yang disebut di postingan peluncurannya adalah model terbuka. Jadi papan ini tidak akan menunjukkan posisi ChatGPT atau Claude.

Lab-lab Arab mengatakan hal yang sama tentang pelatihan mereka sendiri. Postingan TII tentang Falcon-H1 Arabic, bertanggal 5 Januari 2026, menyebut "Arabic is not monolithic" dan bahwa mereka memperluas sumber dialek untuk bahasa Arab Mesir, Levant, Teluk, dan Maghrib.

Jadi, arahkan lewat prompt. Sebut dialeknya, sebut sebuah kota, dan tunjukkan dua percakapan singkat. Tempel ini dan ganti dialeknya:

```

Reply only in Egyptian Arabic, the way people talk in Cairo, not in Modern Standard Arabic. Keep this dialect even if I switch to MSA or English. Match the style of these two exchanges:

Me: ازيك؟ عامل ايه النهارده؟

You: الحمد لله كويس، وانت عامل ايه؟

Me: عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

You: أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

Now answer my next message in the same dialect.

```

Ganti "Egyptian" dan "Cairo" dengan Gulf dan Dubai, Levantine dan Beirut, atau Moroccan dan Casablanca, lalu tulis ulang kedua contoh dalam dialek itu. Buat contohnya singkat. Pakai susunan kalimat Anda sendiri bila bisa, karena model meniru apa yang dilihatnya.

AI asli Arab mana yang perlu dicoba: Jais, HUMAIN Chat, Fanar, atau Falcon?

Jais Chat dan HUMAIN Chat adalah dua chatbot asli Arab yang bisa diunduh hari ini, dan keduanya gratis. Lab-lab Teluk di baliknya merilis dengan cepat, jadi kami membaca halaman resmi tiap vendor pada Oktober 2026:

Setiap lab menilai dirinya sendiri dengan benchmark miliknya, jadi anggap klaim mereka sebagai klaim. Model card Inception menempatkan Jais 2 70B di 70.71 pada tes generatif AraGen, melawan 62.58 untuk Qwen2.5 72B, tetapi hanya membandingkan model terbuka. TII menyebut Falcon-H1 Arabic 34B meraih sekitar 75% di Open Arabic LLM Leaderboard.

Angka independen kurang ramah pada model Arab yang lebih lama. Di HELM Arabic, ALLaM 7B meraih 70.8 dan keluarga Jais 30B 64.5, melawan 84.1 untuk Claude Opus. Tim Stanford menulis bahwa model terbuka khusus Arab "underperformed" dan hal ini "may be explained by the age of these models." Jais 2 dan Falcon-H1 Arabic lebih baru daripada versi Jais dan Falcon di papan itu.

Pilih aplikasi lokal bila datanya atau dialeknya lokal. HUMAIN menjalankan HUMAIN Chat di Arab Saudi demi undang-undang perlindungan data kerajaan, menurut liputan peluncuran. Untuk pekerjaan campuran Arab dan Inggris, chatbot besar masih mengungguli model Arab lama di HELM, satu-satunya papan peringkat yang menilai kedua jenis.

Di mana posisi Whizi untuk bahasa Arab?

Whizi adalah produk kami, jadi inilah di mana ia membantu dan di mana ia kalah. Antarmukanya tersedia dalam bahasa Arab, kanan ke kiri. Pro seharga $29.99 per bulan mencakup Claude Opus, Gemini Pro, ChatGPT Sol, dan Kimi K3, dan chat model berdampingannya menjalankan satu prompt Arab lewat dua model sekaligus, masing-masing ditagih sesuai tarifnya sendiri. GPT Astra, pencetak skor tertinggi lain di tes kami, membutuhkan Powerhouse seharga $49.99. Starter seharga $15.99 punya ChatGPT Luna, yang menjawab benar 2 dari 5 pertanyaan Arab kami, dan Claude Haiku. Whizi kalah di sisi lokal. Ia tidak membawa model Jais, ALLaM, Fanar, atau Falcon, jadi untuk hosting data di Arab Saudi atau spesialis dialek Teluk, HUMAIN Chat atau Jais Chat pilihan yang lebih baik. Chat model berdampingan menunjukkan cara kerja perbandingan.