توكنز الذكاء الاصطناعي: ما هي وكيف تُحسب؟

التوكن جزء من كلمة، وليس كلمة

النماذج لا تقرأ الحروف ولا تقرأ الكلمات. قبل أن تصل رسالتك إلى النموذج، يقسّمها محلّل التوكنز إلى أجزاء من مفردات ثابتة تضم عشرات الآلاف من القطع. الكلمات الشائعة توكن واحد. الكلمات النادرة توكنان أو ثلاثة. "The" توكن واحد؛ "tokenization" غالبًا توكنان أو ثلاثة؛ والرابط الطويل قد يصل إلى عشرات التوكنز.

القاعدة التقريبية التي تنشرها OpenAI للنص الإنجليزي: التوكن الواحد يعادل نحو أربعة أحرف، أو نحو ثلاثة أرباع كلمة. فـ100 توكن تعادل تقريبًا 75 كلمة، و1000 توكن تعادل صفحة ونصف.

هناك أمران يجعلان العدّ يتغيّر. الشيفرة البرمجية أكثر كثافة، وتقترب من توكن واحد لكل ثلاثة أحرف، بسبب الرموز والمسافات البادئة. واللغات الأقل تمثيلًا في بيانات تدريب محلّل التوكنز تكلف أكثر: نفس المعنى بالتايلندية أو الهندية أو العربية قد يأخذ ضعفين إلى ثلاثة أضعاف توكنز النسخة الإنجليزية، وهذا مهم إن كنت تدفع لكل توكن وتكتب بإحداها.

يمكنك التحقق بنفسك. الصق أي نص في حاسبة تكلفة التوكنز وستظهر لك العدد والسعر على كل نموذج.

توكنز الإدخال وتوكنز الإخراج سعران مختلفان

كل رسالة لها نصفان. توكنز الإدخال هي كل ما يقرأه النموذج: سؤالك، تعليمات النظام، سياق المحادثة حتى الآن، وأي ملف أرفقته. توكنز الإخراج هي ما يكتبه النموذج ردًا.

تفرض الشركات المزودة أسعارًا مختلفة على الاثنين، والفارق ليس بسيطًا. الجدول هو السعر المعلن لكل مليون توكن من مؤشر تكلفة نماذج الذكاء الاصطناعي، بأسعار مستقاة من OpenRouter بتاريخ 2026-08-20.

الإخراج أغلى بسبب طريقة عمل النموذج. قراءة الإدخال تتم في تمريرة واحدة متوازية على كل التوكنز دفعة واحدة. أما كتابة الإخراج فتتم توكنًا واحدًا في كل مرة، ويتطلب كل توكن جديد تمريرة أخرى عبر النموذج كاملًا. إجابة من 500 توكن تعني 500 تمريرة متتالية.

كم تكلف رسالة حقيقية، بالتفصيل

خذ محادثة نموذجية: سؤال من 300 كلمة مع فقرة سياق، تتم الإجابة عنه بـ400 كلمة. هذا يعادل نحو 400 توكن إدخال و530 توكن إخراج.

• على GPT-5.6 Luna: 400 × $0.20 لكل مليون زائد 530 × $1.20 لكل مليون، أي $0.00008 زائد $0.00064، بما يعادل $0.0007. سبعة أجزاء من مئة من السنت.
• على Claude Sonnet 5: 400 × $2 زائد 530 × $10، لكل مليون، أي $0.0008 زائد $0.0053، بما يعادل $0.006. أكثر بقليل من نصف سنت.
• على GPT-5.5: 400 × $5 زائد 530 × $30، لكل مليون، أي $0.002 زائد $0.0159، بما يعادل $0.018. قرابة سنتين.

لاحظ أن نصف الإخراج يمثل 80 إلى 90 بالمئة من الفاتورة في كل صف. شكل الرسالة، لا النموذج وحده، هو ما يحدد التكلفة: سؤال من سطر واحد يطلب مقالًا من 2000 كلمة هو النمط الأغلى، بينما مستند طويل مع سؤال من سطر واحد عنه هو النمط الأرخص على نفس النموذج.

وإذا وسّعت النظرة فإن التفاوت عبر الكتالوج كله هو القصة الحقيقية. كل نموذج مسعَّر في مؤشر تكلفة نماذج الذكاء الاصطناعي يقع على الخط أدناه بحسب تكلفة إجابة واحدة معيارية. الأرخص، Ling-3.0-flash، يكلف $0.000053؛ والأغلى، Claude Opus 4.7 في وضعه السريع، يكلف $0.105: أي بفارق نحو 2000 ضعف على نفس 1500 توكن.

المضاعِف الآخر هو التاريخ. في المحادثة، يعيد النموذج قراءة المحادثة كاملة في كل دور، فيزداد عدد توكنز الإدخال مع كل رسالة. محادثة من 40 دورًا ترسل الرسالة الأولى 40 مرة. لهذا تتباطأ المحادثات الطويلة، ولهذا يصبح ما هي نافذة السياق الحد الذي تصل إليه في النهاية.

لماذا يخفي الاشتراك العدّاد لكن لا يلغيه

خطط المستهلكين تفرض رسمًا شهريًا ثابتًا، وتحت هذا الرسم يواصل كل مزود عدّ التوكنز. يظهر العدّ على شكل سقف للرسائل، وجدار "لقد وصلت إلى الحد الأقصى"، والتحويل الصامت إلى نموذج أصغر حين تنفد الميزانية.

Whizi تعتمد نظام قياس معاكسًا. لكل نموذج سعر ثابت من الرصيد لكل رسالة: رصيد واحد للنموذج الأساسي، و10 لـ Claude Sonnet 5، و20 لـ Claude Opus 5 وGPT-5.5، و100 في أعلى السلّم. لا يعتمد الرقم أبدًا على طول رسالتك أو الإجابة. السلّم مرتبط بدور توكنز حقيقي، 3000 توكن إدخال و800 إخراج على النموذج الأساسي، وهو ما يكلف نحو $0.00156 من إنفاق المزوّد ويحدد قيمة الرصيد الواحد. كيف يعمل رصيد Whizi يضم الجدول كاملًا.

المقايضة مقصودة. عدّاد التوكن دقيق لكنه غير متوقع؛ ورصيد الرسالة الواحد سخي قليلًا مع الرسائل الطويلة وبخيل قليلًا مع القصيرة، لكنك تعرف السعر دائمًا قبل أن تضغط زر الإرسال.

التوكنز هي أيضًا حد السعة

السبب الثاني الذي يجعل التوكنز مهمة هو السعة. لكل نموذج نافذة سياق تُقاس بالتوكنز: الحد الأقصى الذي يستطيع مراعاته دفعة واحدة، إدخالًا وإخراجًا معًا. Claude Haiku 4.5 تتسع لـ200,000 توكن. GPT-5.6 Terra وClaude Sonnet 5 وGemini 3.7 Flash تتسع لنحو مليون توكن. وبمعدل 750 كلمة لكل 1000 توكن، فإن المليون توكن يعادل نحو 750,000 كلمة، أو نحو 1500 صفحة.

النافذة ليست مجانية. ملؤها يكلف توكنز إدخال في كل دور، فمستند من 300,000 توكن يُسأل عنه عشرة أسئلة يعني 3 ملايين توكن إدخال، وهو ما يكلف $6 على Claude Sonnet 5 بالسعر المعلن. الاسترجاع، حيث يبحث التطبيق في المستند ويرسل الصفحات ذات الصلة فقط، موجود لتجنب هذه الفاتورة بالضبط. ما هو RAG يشرح الآلية، ومقارنة نوافذ السياق يضم حد كل نموذج في جدول واحد. أرسل الصفحات التي يحتاجها السؤال، لا الملف كله أبدًا.