아랍어 AI 추천: 스탠퍼드 아랍어 테스트에서 대형 챗봇 중 Claude Opus가 1위

아랍어에 가장 좋은 AI는 무엇일까요?

대형 챗봇 중 아랍어는 Claude Opus가 가장 낫고, 아랍어 특화 모델 두 개가 그 위에 있습니다. 스탠퍼드 CRFM은 Arabic.AI와 함께 HELM Arabic을 운영합니다. 학교 시험 문제부터 검색된 문서를 바탕으로 한 답변까지 7개의 아랍어 테스트 세트로 41개 모델을 평가합니다. 다음은 2026년 6월 25일 릴리스의 평균 점수(100점 만점)입니다.

일반 챗봇 상위 셋은 서로 2점 안에 있습니다. Claude Opus가 84.1점으로 앞서고, GPT와 Gemini Flash는 82.5점으로 같습니다. 그 위에는 Arabic.AI의 LLM-X가 91.9점, incept-arabic-1로 표기된 모델이 88.3점입니다. 아래에는 오래된 아랍어 모델이 있습니다. ALLaM 7B가 70.8점, 30B Jais 계열이 64.5점입니다. Arabic.AI는 이 리더보드에서 스탠퍼드의 파트너이기도 하니, 1위라는 점은 그 사실을 감안해서 보세요.

차트를 볼 때 한 가지 단서가 있습니다. HELM은 사고(thinking) 기능을 끄고 평가하며, 끌 수 없는 모델은 제외합니다. 그래서 Gemini Pro 모델은 없고 Google은 Flash로만 올라와 있습니다. GPT-6 계열과 Jais 2도 빠져 있습니다. 즉 Claude Opus는 스탠퍼드가 테스트한 챗봇 중에서 1위이지 모든 챗봇 중 1위는 아니며, 아래 Whizi 자체 테스트에서는 GPT Astra가 동점이었습니다. 3대 어시스턴트의 전반적인 비교는 ChatGPT vs Claude vs Gemini를 참고하세요.

Whizi의 아랍어 문제에서 17개 모델은 어떤 성적을 냈나요?

GPT Astra와 Claude Opus가 아랍어 5문제 중 4문제를 맞혀 공동 1위였습니다. 2026년 10월 2일에 진행한 다국어 LLM 벤치 결과입니다. 모든 모델이 30개 언어 각각에서 같은 5문제를 낮은 추론 설정으로 풀었습니다. 답은 출처가 있는 정답지와 대조해 채점했고, 엉뚱한 언어로 답하면 0점이었습니다.

5문제는 작은 표본입니다. 한 문제로 모델의 아랍어 점수가 20점씩 움직이니, 순위가 아니라 대략적인 순서로만 보세요.

문제 유형별 결과는 어떤 리더보드에도 없는 부분입니다. 사실 문제와 날짜 계산은 괜찮았습니다. 속담은 그렇지 않았습니다.

속담 문제는 속담의 뜻을 설명하고 그 속담 자체를 묻습니다. 첫 번째는 15개 모델이, 두 번째는 16개 모델이 틀렸고 둘 다 맞힌 모델은 없었습니다. Claude Opus는 하나를 맞혔고, GPT Astra와 Claude Fable이 나머지 하나를 맞혔습니다.

달력 문제는 공개하는 유일한 아랍어 문항입니다. 표 형식 이슬람력으로 카이로의 증서가 AH 1219년 라잡월 23일로 기록되어 있다고 알려주고 규칙을 준 뒤, 100일 뒤의 요일과 그레고리력 날짜를 묻습니다. 17개 모델 중 11개가 화요일, 1805년 2월 5일이라고 답했습니다.

이 벤치로 아랍어를 다른 언어와 비교하지는 마세요. 17개 모델 평균은 아랍어가 41.2%, 스페인어가 25.9%였습니다. 이는 언어 자체보다 각 언어의 다섯 문제가 얼마나 어려웠는지를 더 많이 말해 줍니다.

ChatGPT는 아랍어를 잘하나요?

네, ChatGPT는 현대 표준 아랍어(MSA)를 잘합니다. OpenAI의 GPT는 2026년 6월 HELM 아랍어에서 82.5점으로 Gemini Flash와 같고 Claude Opus보다 1.6점 낮았습니다. OpenAI 자체 수치도 같은 방향입니다. simple-evals 결과에서 전문 번역가가 14개 언어로 다시 옮긴 MMLU 테스트를 쓴 o3 추론 모델은 아랍어 0.904, 프랑스어 0.906이었습니다.

Anthropic도 같은 종류의 수치를 공개합니다. 다국어 지원 페이지에서 Claude Sonnet 4.5의 아랍어는 영어 점수의 97.2%, 더 작은 Claude Haiku 4.5는 92.5%입니다. 대형 챗봇에게 아랍어는 거의 일급 언어입니다.

문제는 방언입니다. 깔끔한 MSA를 쓰는 챗봇도 이집트나 모로코 방언으로 물으면 그래도 MSA로 답하는 경우가 많습니다. 이어지는 섹션에서 다룹니다.

AI는 아랍어 방언도 쓸 수 있나요, 현대 표준 아랍어만 되나요?

AI는 아랍어 방언을 쓰는 것보다 이해하는 것을 더 잘합니다. AL-QASIDA 연구는 GPT-4o를 포함한 9개 모델을 알제리어부터 시리아어까지 8개 방언으로 테스트했습니다. 저자들은 "LLM은 DA를 이해하는 만큼 잘 생성하지는 못한다"고 씁니다. 여기서 DA는 방언 아랍어를 뜻합니다. 모델이 충분히 유창하지만 방언 쓰기를 꺼린다는 것이고, 그 원인의 일부를 사후 학습(post-training)에서 찾으며 "few-shot 예시가 이 결함을 극복할 수 있다"는 점을 확인했습니다.

리더보드로는 이런 점이 드러나지 않습니다. HELM의 아랍어 테스트 세트 7개 중 6개는 객관식이고, 방언으로 쓴 답변을 채점하는 것은 하나도 없습니다. OALL 팀이 2A2I, TII, Hugging Face와 함께 운영하는 Open Arabic LLM Leaderboard는 2025년 2월에 테스트를 새로 만들면서 기계 번역된 문항을 뺐습니다. 팀은 이유를 이렇게 설명했습니다. "많은 과제가 영어를 그대로 번역한 것이어서 언어적, 맥락적 불일치가 자주 생겼습니다." 이 리더보드는 오픈 모델용입니다. 커뮤니티가 모델을 제출하고 TII의 하드웨어가 돌리며, 출시 글에 언급된 모델도 모두 오픈 모델입니다. 그래서 ChatGPT나 Claude의 위치는 알 수 없습니다.

아랍어 연구소들도 자기 학습 데이터에 대해 같은 말을 합니다. 2026년 1월 5일자 TII의 Falcon-H1 Arabic 글은 "아랍어는 하나의 덩어리가 아니다"라고 하며, 이집트, 레반트, 걸프, 마그레브 아랍어의 방언 자료를 넓혔다고 밝힙니다.

그러니 방언을 프롬프트로 지정하세요. 방언 이름과 도시를 적고, 짧은 대화 예시 두 개를 보여 주세요. 아래를 붙여 넣고 방언만 바꾸면 됩니다.

```

현대 표준 아랍어가 아니라 카이로 사람들이 말하는 이집트 아랍어로만 답해 줘. 내가 MSA나 영어로 바꿔도 이 방언을 유지해 줘. 아래 두 대화의 스타일에 맞춰 줘.

나: ازيك؟ عامل ايه النهارده؟

너: الحمد لله كويس، وانت عامل ايه؟

나: عايز اروح الأهرامات بكرة، أسهل طريقة ايه؟

너: أسهل حاجة تاخد تاكسي أو أوبر من وسط البلد.

이제 내 다음 메시지에 같은 방언으로 답해 줘.

```

"이집트"와 "카이로"를 걸프와 두바이, 레반트와 베이루트, 모로코와 카사블랑카 등으로 바꾸고 두 예시도 그 방언으로 다시 쓰세요. 예시는 짧게 하세요. 가능하면 직접 쓴 표현을 쓰는 게 좋습니다. 모델은 본 것을 그대로 따라 하기 때문입니다.

아랍어 특화 AI는 어떤 걸 써 볼까요: Jais, HUMAIN Chat, Fanar, Falcon?

지금 바로 내려받을 수 있는 아랍어 특화 챗봇은 Jais Chat과 HUMAIN Chat 두 가지이며 둘 다 무료입니다. 이 둘을 만든 걸프 지역 연구소들은 출시 속도가 빨라서, 2026년 10월에 각 업체의 공식 페이지를 직접 확인했습니다.

각 연구소는 자체 벤치마크로 스스로를 평가하므로, 주장은 주장으로만 읽으세요. Inception의 모델 카드는 AraGen 생성 테스트에서 Jais 2 70B가 70.71점, Qwen2.5 72B가 62.58점이라고 하지만 오픈 모델끼리만 비교한 것입니다. TII는 Falcon-H1 Arabic 34B가 Open Arabic LLM Leaderboard에서 약 75%라고 밝힙니다.

독립적인 수치는 오래된 아랍어 모델에 더 냉정합니다. HELM 아랍어에서 ALLaM 7B는 70.8점, 30B Jais 계열은 64.5점으로 Claude Opus의 84.1점에 못 미쳤습니다. 스탠퍼드 팀은 아랍어 특화 오픈 모델이 "기대에 못 미쳤다"며 "이 모델들의 출시 시점이 오래된 탓일 수 있다"고 썼습니다. Jais 2와 Falcon-H1 Arabic은 그 리더보드에 올라 있는 Jais와 Falcon 버전보다 새 모델입니다.

데이터나 방언이 현지 중심이라면 현지 앱을 고르세요. 출시 보도에 따르면 HUMAIN은 사우디의 데이터 보호법에 맞춰 HUMAIN Chat을 사우디 안에서 호스팅합니다. 아랍어와 영어가 섞인 작업이라면, 두 종류를 모두 채점하는 유일한 리더보드인 HELM에서 대형 챗봇이 여전히 오래된 아랍어 모델을 앞섭니다.

아랍어에서 Whizi는 어떤 역할을 하나요?

Whizi는 우리 제품이니 도움이 되는 점과 부족한 점을 함께 말씀드립니다. 인터페이스는 아랍어로, 오른쪽에서 왼쪽으로 표시됩니다. 월 $29.99의 Pro에는 Claude Opus, Gemini Pro, ChatGPT Sol, Kimi K3가 포함되고, 모델 나란히 비교 채팅으로 아랍어 프롬프트 하나를 두 모델에 동시에 보낼 수 있으며 각 모델은 자체 요율로 차감됩니다. 테스트에서 함께 최고점을 받은 GPT Astra는 $49.99의 Powerhouse가 필요합니다. $15.99의 Starter에는 아랍어 문제 5개 중 2개를 맞힌 ChatGPT Luna와 Claude Haiku가 있습니다. Whizi가 밀리는 곳은 현지 쪽입니다. Jais, ALLaM, Fanar, Falcon 모델이 없으므로 사우디 데이터 호스팅이나 걸프 방언 전문가가 필요하다면 HUMAIN Chat이나 Jais Chat이 더 낫습니다. 비교 방식은 모델 나란히 비교 채팅에서 확인하세요.