
일본어에 가장 좋은 AI는 무엇일까?
찾을 수 있었던 일본어 테스트 네 개 중 두 개는 Claude Opus가 1위(하나는 공동 1위)이고, 나머지 두 개는 Gemini가 1위입니다. 가장 인상적인 결과는 지역 지식 문제입니다. 2024년에 바뀐 군마현 카루타 카드의 현행 문구를 아는 모델은 실행한 17개 중 4개뿐이었습니다. 네 테스트는 모두 2026년 10월 18일에 확인했고, 아래 각 행은 해당 테스트의 자체 결과입니다.
| 일본어 테스트 | 실시 기관 | 점수 기준일 | 최고 Claude | 최고 GPT | 최고 Gemini |
|---|---|---|---|---|---|
| Nejumi Leaderboard 4 (JMMLU-Pro, JHumanEval, ARC-AGI 등) | Weights & Biases Japan | 2026년 9월 1일 시점, Qualiteg 보고 기준 | Claude Opus 5, 0.8720, 1위 | GPT-5.6 Sol, 0.8499, 6위 | Gemini 3.1 Pro Preview, 0.8430, 9위 |
| Artificial Analysis Multilingual Index, 일본어 | Artificial Analysis | 2026년 10월 18일 확인, 날짜 표기 없음 | Claude Opus 4.6, 93 | 상위 5위 안에 없음 | Gemini 3.1 Pro Preview, 94, 1위 |
| WMT 2025, 영어에서 일본어, 사람 채점 | WMT General MT task | 2025년 11월 | Claude 4, 79.3 | GPT-4.1, 83.7 | Gemini 2.5 Pro, 85.8, 기계 중 최고 |
| Whizi Multilingual LLM Bench, 일본어 | Whizi | 2026년 10월 2일 | Claude Opus 5.5, 5문제 중 4문제, 공동 1위 | GPT-6 Sol, 5문제 중 4문제, 공동 1위 | Gemini 3.1 Pro, 5문제 중 3문제 |
Nejumi는 Weights & Biases Japan이 운영하는 일본어 리더보드입니다. 점수는 2026년 9월 1일 시점을 정리한 Qualiteg의 요약으로 확인했습니다. Weights & Biases Japan은 2025년 8월 27일에 버전 4를 공개하며 기업이 모델을 고를 때 쓸 "より実践的な指標"(더 실전적인 지표)를 제공하는 것이 목표라고 밝혔습니다. 네 보드는 서로 다른 세대의 모델과 다른 과제를 테스트하므로 상위권에서 결과가 엇갈리는 것도 놀랍지 않습니다. GPT-6와 Claude Opus 5.5를 테스트한 것은 Whizi의 실행뿐입니다.
| 원하는 것 | 추천 | 이유 (2026년 10월 기준) |
|---|---|---|
| 일상적인 일본어 질문과 글쓰기 | Claude Opus | Nejumi 1위, Whizi 테스트 공동 1위, 요청한 일본어 속담 두 개를 모두 맞힌 유일한 모델(17개 중) |
| 영어에서 일본어 번역 | Gemini Pro | WMT 2025 사람 채점에서 기계 최고 점수, 전문 번역가와 3.4점 차이 |
| 더 저렴하면서도 공동 1위인 모델 | GPT Sol | 150문제 전체 실행 비용이 $0.16으로 Claude Opus의 $0.47보다 저렴 |
| 일본에서 만든 무료 챗봇 | Sakana Chat 또는 Sarashina | Sakana Chat은 일본 안에서 무료, SB Intuitions는 2026년 10월 13일에 Sarashina 무료 베타를 시작 |
| 내 서버에서 돌리는 일본어 모델 | tsuzumi 2 또는 ELYZA | NTT에 따르면 tsuzumi 2는 GPU 한 장으로 구동, ELYZA의 2026년 10월 모델은 Apache 2.0 오픈 웨이트 |
17개 모델은 Whizi의 일본어 문제를 어떻게 풀었을까?
GPT Sol과 Claude Opus가 일본어 5문제 중 4문제를 맞혀 공동 1위였습니다. 2026년 10월 2일에 실행한 Multilingual LLM Bench 결과입니다. 모든 모델이 30개 언어 각각에서 같은 5문제를 낮은 추론 설정으로 풀었습니다. 답은 출처가 있는 정답지로 채점했고, 엉뚱한 언어로 답하면 0점입니다.
5문제는 작은 표본입니다. 한 문제가 일본어 점수를 20점씩 움직이므로 순위가 아니라 대략적인 순서로 읽어 주세요.
| 모델, 2026년 10월 2일 실행 | 일본어, 5문제 | 30개 언어 전체, 150문제 | 150문제 실행 비용 |
|---|---|---|---|
| GPT-6 Sol | 5문제 중 4문제 | 63.3% | $0.16 |
| Claude Opus 5.5 | 5문제 중 4문제 | 60.7% | $0.47 |
| GPT-6 Astra | 5문제 중 3문제 | 70.7% | $0.75 |
| Gemini 3.1 Pro | 5문제 중 3문제 | 67.3% | $1.34 |
| Claude Fable 5.1 | 5문제 중 3문제 | 50.0% | $0.66 |
| Gemini 3.8 Flash | 5문제 중 2문제 | 51.3% | $0.12 |
| GPT-6 Luna | 5문제 중 2문제 | 44.7% | $0.01 |
| Grok 4.7 | 5문제 중 2문제 | 44.0% | $1.93 |
| DeepSeek V4 Pro | 5문제 중 2문제 | 44.0% | $1.30 |
| Kimi K3 | 5문제 중 2문제 | 31.3% | $0.81 |
| Qwen3.8 Max | 5문제 중 2문제 | 30.7% | $0.82 |
| GLM-5.3 | 5문제 중 2문제 | 19.3% | $0.42 |
| DeepSeek V4.1 Flash | 5문제 중 1문제 | 42.0% | $0.41 |
| Claude Sonnet 5 | 5문제 중 1문제 | 23.3% | $0.30 |
| Gemini 3.5 Flash-Lite | 5문제 중 1문제 | 21.3% | $0.10 |
| GLM-5.3 Flash | 5문제 중 0문제 | 15.3% | $0.04 |
| Qwen3.8 Flash | 5문제 중 0문제 | 12.0% | $0.19 |
5문제는 난이도가 세 갈래로 나뉩니다. 일본 전통 달력에 관한 문제는 쉬워서 17개 중 12개가 맞혔습니다. 지역 상식 문제 하나도 17개 중 13개가 맞혔습니다. 뜻만 설명하고 속담을 맞히게 한 두 문제가 벽이었습니다. 첫 번째 속담은 Claude Opus만 맞혔고 두 번째는 4개 모델이 맞혔습니다. Kimi K3는 5문제 중 2문제를 맞혔고, 30개 언어 전체 점수는 Kimi와 ChatGPT 비교에 있습니다.
가장 기억에 남을 문제는 지역 문제입니다. 군마현의 지역 카드 게임 조모 카루타(Jōmō Karuta)에서 2024년 4월부터 출하된 세트의 "chi" 카드 정확한 문구를 묻습니다. 군마현은 2023년 12월 1일 인구가 1,899,297명으로 줄어든 뒤 2024년 1월에 이 카드를 바꿨습니다. 모델별 답은 다음과 같습니다.
| 모델이 쓴 답 | 모델 | 판정 |
|---|---|---|
| 力あわせる百九十万 (2024년 카드) | Gemini 3.1 Pro, GPT-6 Sol, GPT-6 Astra, Qwen3.8 Max (力合わせる百九十万로 표기) | 정답 |
| 力あわせる二百万 (1993년부터 2024년까지의 카드) | Gemini 3.8 Flash, Claude Sonnet 5, GPT-6 Luna, Claude Fable 5.1 | 한때 정답, 지금은 구판 |
| 力あわせる群馬県 | Claude Opus 5.5 | 오답 |
| 전혀 다른 문구 | Grok 4.7, DeepSeek V4 Pro, DeepSeek V4.1 Flash, Kimi K3, GLM-5.3, GLM-5.3 Flash, Gemini 3.5 Flash-Lite | 오답 |
| 답 없음 | Qwen3.8 Flash | 오답 |
17개 중 4개가 새 카드를 알았고, 다른 4개는 옛 카드를 알았습니다. 옛 문구는 31년간 쓰였으니 학습 데이터에 가득합니다. 일본 지역 질문에 자신 있게 답하는 모델도 몇 년 뒤처져 있을 수 있습니다. 날짜, 가격, 지역 정보는 직접 확인하세요.
이 벤치로 일본어와 다른 언어의 순위를 매기지는 마세요. 17개 모델의 평균은 일본어 40.0%, 영어 61.2%였지만, 이는 언어 자체보다 각 언어의 5문제가 얼마나 어려웠는지를 더 많이 말해 줍니다. 모델 세 개가 5문제를 모두 맞힌 언어는 베트남어뿐이었고, 자세한 내용은 베트남어에 가장 좋은 AI에 있습니다.
ChatGPT는 일본어를 잘할까?
네, ChatGPT는 일본어를 잘합니다. OpenAI의 simple-evals 결과에서 o3 추론 모델은 전문 번역가가 14개 언어로 다시 쓴 MMLU 테스트의 일본어에서 0.890을 받았습니다. 작은 모델은 빠르게 떨어져 GPT-4.1 mini는 0.810, GPT-4.1 nano는 0.690이었습니다. Whizi 테스트에서는 GPT Sol이 공동 1위였고, 실행한 GPT 중 가장 저렴한 GPT Luna는 5문제 중 2문제를 맞혔습니다.
Anthropic도 Claude에 대해 같은 테스트를 공개합니다. 다국어 지원 페이지에 따르면 Claude Sonnet 4.5는 일본어에서 영어 점수의 96.8%를 유지했고, 더 작은 Claude Haiku 4.5는 93.5%를 유지했습니다. 한국어와 중국어 수치와 비슷합니다. 주요 챗봇에게 일본어는 일급 언어입니다.
일본어 번역에 가장 좋은 AI는 무엇일까?
사람이 채점한 최근 테스트 하나를 보면 영어에서 일본어 번역에는 Gemini Pro가 가장 좋습니다. WMT 2025 결과 보고서에서 전문 평가자들이 모든 시스템에 0점에서 100점을 매겼습니다. 영어에서 일본어 표는 다음과 같습니다.
| 시스템, WMT 2025 영어에서 일본어 | 사람 채점 점수, 0~100 | 순위 범위 |
|---|---|---|
| 전문 번역가의 번역 | 89.2 | 1 |
| Gemini 2.5 Pro | 85.8 | 2~4 |
| Algharb, 크기 제한 트랙의 연구용 출품작 | 85.7 | 2~6 |
| Mistral Medium | 84.8 | 2~5 |
| GPT-4.1 | 83.7 | 5~6 |
| DeepSeek V3 | 79.3 | 8~13 |
| Claude 4 | 79.3 | 8~13 |
| ONLINE-B, WMT가 익명으로 두는 온라인 번역기 | 78.0 | 8~14 |
| NTTSU, NTT 팀의 연구 시스템 | 73.3 | 17~18 |
두 가지 한계가 있습니다. WMT 2025에서 일본어를 출발어로 한 언어쌍은 중국어 하나뿐이라 일본어에서 영어로는 사람이 채점한 결과가 없습니다. 그리고 모델이 1년 전 것이라 GPT-6나 Claude Opus 5 모델은 들어 있지 않습니다. 주최 측은 Gemini 2.5 Pro가 16개 언어쌍 중 14개에서 상위 그룹에 든다고도 밝혔으므로, Gemini의 우위가 일본어만의 특성은 아닙니다.
가능하면 로마자가 아니라 가나와 한자로 붙여넣으세요. Anthropic 가이드도 분명히 말합니다. "Submit text in its native script rather than transliteration for optimal results." 그런 다음 기계가 자주 틀리는 부분을 보호하는 프롬프트를 쓰세요.
```
이 일본어 텍스트를 [업무 이메일 / 만화 한 페이지 / 계약 요약]에 맞는 자연스러운 한국어로 번역해 줘.
이름, 숫자, 날짜, 금액은 원문 그대로 유지해 줘.
원문의 공손함 수준(반말, です/ます, 경어)을 알려 줘.
대응하는 한국어 표현이 없는 구절은 의미를 번역하고 괄호 안에 일본어를 남겨 줘.
[여기에 일본어 텍스트 붙여넣기]
```
영어에서 일본어로 번역할 때는 말투를 지정하세요. 반말, です/ます, 고객용 완전한 경어 중에서 고르면 됩니다. 일본어 전용 도구를 원하면 Preferred Networks가 자체 PLaMo 모델로 운영하는 PLaMo翻訳이 있고, 무료 플랜은 월 50,000자까지 텍스트를 번역합니다. 번역 후 확인할 점은 AI로 번역하는 방법 가이드에 있습니다.
일본어 공부에 가장 좋은 AI는 무엇일까?
일본어 공부에는 Claude Opus나 GPT가 가장 좋습니다. 둘 다 Whizi 문제에서 공동 1위였고 문법도 설명할 수 있기 때문입니다. 함정은 속담입니다. 일본어 속담 두 개를 모두 맞힌 모델은 Claude Opus뿐이었으니, 튜터 봇이 알려 주는 고토와자(ことわざ)는 사전으로 확인하세요.
모델에게 수준을 알려 주고, 일방적으로 말하지 말고 교정해 달라고 하세요.
```
너는 내 일본어 튜터야. 내 수준은 JLPT N4 정도야.
쉬운 일본어로 말하고, 한자 뒤에는 괄호로 후리가나를 붙여 줘.
내가 답할 때마다 틀린 부분을 한국어로 고쳐 준 다음 대화를 이어 가.
내가 반말을 요청하지 않으면 です/ます를 써.
주제: 라멘 가게에서 음식 주문하기.
```
말하기 연습에는 챗봇의 음성 모드를 쓰세요. Google은 Gemini 모바일 앱이 지원하는 언어에 일본어를 올려 두었고, 일본어에 붙은 제한 표시는 없습니다.
Sakana, PLaMo, Sarashina 같은 일본산 AI를 써야 할까?
일본산 AI는 순수한 성능이 아니라 데이터가 일본 안이나 내 서버에 있어야 할 때 쓰세요. 일본에서 만든 모델은 아직 Nejumi 상위권 근처에도 없습니다. Qualiteg의 해석에 따르면 2026년 9월 1일 시점 최고 모델은 도쿄과학대 Swallow 팀의 GPT-OSS-Swallow-120B로 0.6914였고, 보드 50위 모델은 0.7954였습니다.
| 모델 또는 앱 (2026년 10월 기준) | 개발사 | 최신 릴리스 | 사용 방법 |
|---|---|---|---|
| Sakana Chat (Namazu와 Fugu 모델) | Sakana AI | 2026년 3월 24일 출시, 2026년 8월 13일 업데이트 | 무료 채팅, 일본 안에서만 사용 가능 |
| Sarashina3 (Sarashina Service) | SB Intuitions, 소프트뱅크 계열 | 2026년 10월 13일부터 무료 베타 | Google 로그인으로 무료 채팅과 API, 사용량 제한 있음 |
| PLaMo 3.0 Prime | Preferred Networks | 2026년 6월 22일 | API 또는 자체 서버, 256K 컨텍스트 |
| tsuzumi 2 | NTT | 2025년 10월 20일 | 30B, GPU 한 장으로 구동, 기업에 자체 서버용으로 판매 |
| ELYZA-Thinking-1.0-llm-jp-4-33b | ELYZA, NII의 llm-jp-4 기반 | 2026년 10월 2일 | Apache 2.0 오픈 웨이트 |
| Qwen2.5 Bakeneko 32B Instruct v2 | rinna | 2025년 3월 | Apache 2.0 오픈 웨이트 |
일본어 튜닝의 가치를 가장 잘 보여 주는 곳은 Sakana AI입니다. Namazu 모델은 큰 오픈 모델을 가져와 일본용으로 학습시킵니다. Sakana에 따르면 기반 모델 DeepSeek V3.1 Terminus는 정치, 역사, 외교에 관한 일본 관련 질문의 72%에 답을 거부했는데, Namazu 버전은 이를 거의 0으로 낮췄습니다. 다만 이는 Sakana 자체 테스트입니다.
각 연구소가 스스로 채점하므로 점수는 주장으로 읽으세요. ELYZA의 모델 카드는 이 점에서 솔직합니다. 새 33B 모델은 카드의 자체 벤치마크 세트에서 평균 61.69인데, 같은 카드에서 Google의 Gemma 4 31B는 70.54로 앞섭니다. rinna 팀은 Bakeneko 모델이 일본어 MT-Bench에서 8.53을 받았다고 보고합니다. 그러나 MT-Bench는 다른 AI가 채점하고, 주요 챗봇은 이 점수를 공개하지 않습니다. NTT는 tsuzumi 2가 같은 크기 모델 중 "世界トップクラス"(세계 최고 수준)라고 하지만 공개된 수치는 없습니다.
ChatGPT, Claude, Gemini는 엔화로 얼마일까?
일본 App Store에서 ChatGPT Plus와 Claude Pro는 모두 월 ¥3,000이고, Google AI Pro는 ¥2,900입니다. 이 가격은 2026년 10월 18일에 확인했습니다.
| 플랜, 일본 App Store, 2026년 10월 18일 | 표시 가격 |
|---|---|
| ChatGPT Go | ¥1,400 |
| ChatGPT Plus | ¥3,000 |
| ChatGPT Pro 100 | ¥16,800 |
| ChatGPT Pro 200 | ¥30,000 |
| ChatGPT Pro 500 | ¥84,000 |
| Claude Pro, 월간 | ¥3,000 |
| Claude Pro, 연간 | ¥35,000 |
| Claude Max 5x, 월간 | ¥20,000 |
| Claude Max 20x, 월간 | ¥40,000 |
| Google AI Plus | ¥720 |
| Google AI Pro | ¥2,900 |
| Google AI Ultra | ¥32,000 |
Google의 일본어 요금제 페이지에는 AI Plus ¥725, AI Pro ¥2,900, Ultra는 월 ¥14,500부터로 나옵니다. 웹사이트에서는 Anthropic이 2026년 4월 1일부터 모든 Claude 플랜에 일본 소비세 10%를 붙이고 있습니다. 앱과 웹 가격 비교는 국가별 Claude Pro 가격 페이지에 있습니다.
일본의 결제 수단이 통하는 곳도 앱 스토어입니다. Apple의 결제 수단 페이지는 일본에서 카드, Apple Pay, PayPay, Merpay, au, NTT DOCOMO, SoftBank 휴대전화 결제, Apple 계정 잔액을 지원한다고 안내합니다. Google Play는 여기에 JCB, Edy, PayPal, Rakuten 결제를 더합니다. 또한 "You can't use cash to pay for subscriptions."라고 경고합니다. 그래서 편의점 현금은 Play 잔액이나 기프트 카드로 충전해야만 쓸 수 있습니다. claude.ai 자체는 카드만 받으며, 자세한 내용은 Claude 결제 수단 가이드에 있습니다.
일본어에서 Whizi는 어떤 위치일까?
Whizi는 저희 제품이니 도움이 되는 점과 부족한 점을 함께 말씀드립니다. 월 $29.99인 Pro에는 위 일본어 테스트에서 상위권을 차지한 세 계열, Claude Opus, ChatGPT Sol, Gemini Pro가 들어 있습니다. 모델 나란히 비교 채팅은 일본어 프롬프트 하나를 그중 두 모델에 동시에 보냅니다. 일본의 구매자는 결제 시 엔화로 청구되고, 인터페이스에는 일본어 설정이 있습니다. Sakana Namazu도 카탈로그에 있으며 월 $49.99인 Powerhouse에서 쓸 수 있습니다. 나머지 일본산 모델에서는 Whizi가 밀립니다. PLaMo, Sarashina, tsuzumi 모델은 없고, 일본에 산다면 Sakana Chat이 무료입니다.
- 일상적인 일본어 질문과 글쓰기에는 Claude Opus, 영어에서 일본어 번역에는 Gemini Pro를 쓰세요
- 일본어는 로마자가 아니라 가나와 한자로 붙여넣고, 원하는 공손함 수준을 지정하세요
- 17개 중 4개 모델이 2024년 이전 군마 카루타 카드를 답했으니 날짜, 가격, 지역 정보는 직접 확인하세요
- 고토와자(ことわざ)는 쓰기 전에 사전으로 확인하세요
- PayPay, Merpay, 휴대전화 결제로 내고 싶다면 앱에서 구독하세요
자주 묻는 질문
일본어에서 영어 번역에 가장 좋은 AI는?
일본어에서 영어로 번역하는 방향은 사람이 채점한 테스트가 아직 없어, 반대 방향에서 최고 기계였던 Gemini Pro가 가장 안전한 선택입니다. Gemini 2.5 Pro는 WMT 2025 사람 채점의 영어에서 일본어 번역에서 85.8점을 받았고, 전문 번역가는 89.2점이었습니다. 일본어는 가나와 한자로 붙여넣고, 이름과 숫자를 원문 그대로 유지하라고 요청하세요. AI 번역 가이드에 더 많은 프롬프트가 있습니다.
ChatGPT는 일본어를 잘할까?
네. OpenAI의 o3는 일본어 MMLU 테스트에서 0.890을 받았고, GPT-6 Sol은 2026년 10월 Whizi의 일본어 5문제에서 공동 1위였습니다. 작은 GPT 모델은 더 약해서 GPT-4.1 nano는 0.690이었습니다. 일본 App Store에서 ChatGPT Plus는 월 ¥3,000이며, 웹 가격은 국가별 ChatGPT Plus 가격에서 볼 수 있습니다.
일본어에는 ChatGPT, Claude, Gemini 중 무엇이 더 좋을까?
일상적인 일본어는 Claude, 번역은 Gemini가 낫고, ChatGPT는 둘 다 바짝 뒤따릅니다. Claude Opus 5는 2026년 9월 Nejumi에서 0.8720으로 1위였고, Gemini 3.1 Pro Preview는 Artificial Analysis 일본어 지수에서 94로 1위였으며, GPT-5.6 Sol은 Nejumi 6위였습니다. 일본어 너머의 비교는 ChatGPT vs Claude vs Gemini에서 볼 수 있습니다.
PayPay로 ChatGPT나 Claude 요금을 낼 수 있을까?
iPhone이나 Android 앱으로 구독하면 가능합니다. Apple과 Google Play 모두 일본에서 PayPay를 지원하고, Apple은 Merpay와 휴대전화 결제도 지원합니다. ChatGPT와 Claude 웹사이트는 카드로만 결제합니다. 카드가 계속 거절된다면 카드가 거절될 때 AI 요금 내는 방법에 다른 경로가 있습니다.