Arapça yapay zeka: Stanford'ın Arapça testinde büyük sohbet botlarının başında Claude Opus var

Arapça için en iyi yapay zeka hangisi?

Büyük sohbet botları arasında Arapçada en iyisi Claude Opus, onu iki Arapça uzmanı geçiyor. Stanford'ın CRFM birimi, Arabic.AI ile birlikte HELM Arabic sıralamasını yürütüyor. Okul sınavı sorularından getirilen belgelere dayalı yanıtlara kadar yedi Arapça test setinde 41 modeli puanlıyor. İşte 25 Haziran 2026 sürümü, 100 üzerinden ortalama puan:

En iyi üç genel sohbet botu birbirine iki puan mesafede. Claude Opus 84.1 ile başta, GPT ve Gemini Flash 82.5 ile berabere. Onların üstünde Arabic.AI'ın LLM-X modeli 91.9, incept-arabic-1 olarak listelenen bir model ise 88.3 alıyor. Altlarında eski Arapça modeller var: ALLaM 7B 70.8, 30B Jais ailesi 64.5. Arabic.AI aynı zamanda Stanford'ın sıralamadaki ortağı, bu yüzden birinciliğini bunu bilerek değerlendirin.

Grafiği tek bir çekinceyle okuyun. HELM düşünme modunu kapatıyor ve kapatılamayan modelleri dışarıda bırakıyor. Listede hiçbir Gemini Pro modeli yok, yani Google yalnızca Flash ile temsil ediliyor. GPT-6 ailesi ve Jais 2 de listede değil. Dolayısıyla Claude Opus, Stanford'ın test ettiği sohbet botlarında önde, tüm sohbet botlarında değil; aşağıdaki kendi testimizde GPT Astra onunla berabere kaldı. Üç büyük asistan arasındaki daha geniş kıyaslama için ChatGPT vs Claude vs Gemini yazısına bakın.

17 model Whizi'nin kendi Arapça sorularında nasıl bir sonuç aldı?

GPT Astra ve Claude Opus, 5 Arapça sorunun 4'ünü doğru yanıtlayarak zirvede berabere kaldı. Bu sonuç, 2 Ekim 2026'da çalıştırdığımız Multilingual LLM Bench testinden geliyor. Her model, 30 dilin her birinde aynı 5 soruyu düşük akıl yürütme seviyesinde aldı. Her yanıt kaynaklı bir anahtara göre notlandırıldı, yanlış dilde verilen yanıt sıfır puan aldı.

Beş soru küçük bir örneklem. Tek bir soru bir modelin Arapça puanını 20 puan oynatıyor, bu yüzden bunu kesin bir sıralama değil, kaba bir sıra olarak görün.

Hiçbir sıralamanın göstermediği kısım soru türüne göre dağılım. Olgular ve tarih hesabı sorun çıkarmadı. Atasözleri çıkardı:

Her atasözü sorusu bir sözü anlamıyla tarif edip sözün kendisini istiyor. On beş model birincisini, on altı model ikincisini yanlış bildi; ikisini birden bilen olmadı. Claude Opus birini bildi. GPT Astra ve Claude Fable diğerini bildi.

Takvim sorusu, yayımladığımız tek Arapça soru. Kahire'deki bir senedi tablo biçimli Hicri takvime göre 23 Recep 1219 olarak tarihliyor, kuralları veriyor ve 100 gün sonrasının haftanın gününü ve Miladi tarihini soruyor. 17 modelden on biri Salı, 5 Şubat 1805 yanıtını verdi.

Testi Arapçayı diğer dillerle kıyaslamak için kullanmayın. Arapça 17 model genelinde ortalama 41.2%, İspanyolca 25.9% çıktı. Bu, dilin kendisinden çok her dilin beş sorusunun ne kadar zor olduğunu anlatıyor.

ChatGPT Arapçada iyi mi?

Evet, ChatGPT Modern Standart Arapçada iyi. OpenAI'ın GPT modeli Haziran 2026'da HELM Arabic'te 82.5 aldı; Gemini Flash ile aynı seviyede, Claude Opus'un 1.6 puan gerisinde. OpenAI'ın kendi rakamları da aynı yönü gösteriyor. simple-evals sonuçları, profesyonel çevirmenlerin 14 dile uyarladığı bir MMLU testinde o3 akıl yürütme modelini Arapçada 0.904, Fransızcada 0.906 olarak veriyor.

Anthropic de aynı türden bir rakam yayımlıyor. Çok dilli destek sayfası, Claude Sonnet 4.5'i Arapçada İngilizce puanının 97.2%'si, daha küçük Claude Haiku 4.5'i ise 92.5%'i olarak gösteriyor. Büyük bir sohbet botu için Arapça, birinci sınıf bir dile yakın.

Asıl sorun lehçe. Temiz Modern Standart Arapça yazan bir sohbet botu, Mısır veya Fas lehçesiyle sorulan bir soruya çoğu zaman yine de Modern Standart Arapçayla yanıt verir. Bir sonraki bölüm bununla ilgili.

Yapay zeka Arapça lehçeleri yazabilir mi, yoksa yalnızca Modern Standart Arapça mı?

Yapay zeka Arapça lehçeleri yazdığından daha iyi anlıyor. AL-QASIDA çalışması, aralarında GPT-4o'nun da bulunduğu dokuz modeli Cezayir'den Suriye'ye sekiz lehçede test etti. Yazarlar, "LLM'lerin lehçeli Arapçayı (DA) anladıkları kadar iyi üretemediğini" yazıyor. Modellerin yeterince akıcı ama isteksiz olduğunu gördüler. Bunun bir kısmını eğitim sonrası aşamaya bağlıyor ve "birkaç örneğin bu eksikliği giderebildiğini" buldular.

Sıralamalar bunu size gösteremez. HELM'in yedi Arapça test setinden altısı çoktan seçmeli ve hiçbiri lehçeyle yazılmış bir yanıtı notlandırmıyor. OALL ekibinin 2A2I, TII ve Hugging Face ile yürüttüğü Open Arabic LLM Leaderboard, testlerini Şubat 2025'te yeniden kurdu ve makine çevirisi olanları çıkardı. Ekip nedenini şöyle açıkladı: "Birçok görev İngilizceden doğrudan çeviriydi ve bu sıklıkla dilsel ve bağlamsal uyumsuzluklara yol açtı." Açık modeller için kurulmuş: modelleri topluluk gönderiyor, TII'nin donanımı çalıştırıyor ve lansman yazısında adı geçen her model açık bir model. Dolayısıyla ChatGPT veya Claude'un nerede durduğunu göstermez.

Arapça laboratuvarlar kendi eğitimleri için de aynı şeyi söylüyor. TII'nin 5 Ocak 2026 tarihli Falcon-H1 Arabic yazısı "Arapça tek parça değildir" diyor ve Mısır, Levanten, Körfez ve Mağrip Arapçası için lehçe kaynaklarını genişlettiğini belirtiyor.

Bu yüzden lehçeyi prompt'ta belirtin. Adını söyleyin, bir şehir verin ve iki kısa diyalog gösterin. Şunu yapıştırın ve lehçeyi değiştirin:

```

Yalnızca Mısır Arapçasıyla yanıt ver, Kahire'de insanların konuştuğu gibi, Modern Standart Arapçayla değil. Ben Modern Standart Arapçaya veya İngilizceye geçsem bile bu lehçeyi koru. Şu iki diyaloğun tarzını yakala:

Ben: ازيك؟ عامل ايه النهارده؟

Sen: الحمد لله كويس، وانت عامل ايه؟

Ben: عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

Sen: أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

Şimdi bir sonraki mesajıma aynı lehçeyle yanıt ver.

```

"Mısır" ve "Kahire" yerine Körfez ve Dubai, Levanten ve Beyrut ya da Fas ve Kazablanka yazın, iki örneği de o lehçeye göre yeniden yazın. Örnekleri kısa tutun. Mümkünse kendi ifadelerinizi kullanın, çünkü model gördüğünü kopyalar.

Hangi Arapça yerel yapay zekayı denemelisin: Jais, HUMAIN Chat, Fanar veya Falcon?

Jais Chat ve HUMAIN Chat, bugün indirebileceğiniz iki Arapça yerel sohbet botu ve ikisi de ücretsiz. Arkalarındaki Körfez laboratuvarları hızlı çıkış yapıyor, bu yüzden Ekim 2026'da her satıcının kendi sayfasını okuduk:

Her laboratuvar kendini kendi kıyaslamalarında notluyor, bu yüzden iddialarını iddia olarak okuyun. Inception'ın model kartı Jais 2 70B'yi AraGen üretken testinde 70.71 ile Qwen2.5 72B'nin 62.58'inin önüne koyuyor, ama yalnızca açık modellerle kıyaslıyor. TII, Falcon-H1 Arabic 34B'nin Open Arabic LLM Leaderboard'da yaklaşık 75% aldığını söylüyor.

Bağımsız rakamlar eski Arapça modellere daha az nazik. HELM Arabic'te ALLaM 7B 70.8, 30B Jais ailesi 64.5 aldı; Claude Opus ise 84.1. Stanford ekibi, Arapçaya özel açık modellerin "beklentinin altında kaldığını" ve bunun "bu modellerin yaşıyla açıklanabileceğini" yazdı. Jais 2 ve Falcon-H1 Arabic, o listedeki Jais ve Falcon sürümlerinden daha yeni.

Veri veya lehçe yerelse yerel bir uygulama seçin. Lansman haberlerine göre HUMAIN, HUMAIN Chat'i krallığın veri koruma yasası için Suudi Arabistan'da barındırıyor. Karışık Arapça ve İngilizce işler için büyük sohbet botları, her iki türü de puanlayan tek sıralama olan HELM'de eski Arapça modelleri hâlâ geride bırakıyor.

Whizi Arapça için nerede işe yarar?

Whizi bizim ürünümüz, bu yüzden nerede işe yaradığını ve nerede kaybettiğini söyleyelim. Arayüz Arapça olarak, sağdan sola çalışıyor. Ayda $29.99 olan Pro, Claude Opus, Gemini Pro, ChatGPT Sol ve Kimi K3'ü içeriyor; yan yana model sohbetleri tek bir Arapça prompt'u iki modelden aynı anda geçiriyor ve her biri kendi oranında faturalanıyor. Testimizdeki diğer en yüksek puanlı model GPT Astra için $49.99'luk Powerhouse gerekiyor. $15.99'luk Starter'da ChatGPT Luna var; Luna Arapça sorularımızın 5'te 2'sini doğru yaptı, ayrıca Claude Haiku da var. Whizi yerel tarafta kaybediyor. Jais, ALLaM, Fanar veya Falcon modeli yok; bu yüzden Suudi veri barındırma ya da Körfez lehçesi uzmanı için HUMAIN Chat veya Jais Chat daha iyi bir seçim. Yan yana model sohbetleri karşılaştırmanın nasıl çalıştığını gösteriyor.