מה זה טוקנים ai?

טוקן הוא חלק ממילה, לא מילה

מודלים לא קוראים אותיות והם לא קוראים מילים. לפני שההודעה שלכם מגיעה למודל, טוקנייזר מפרק אותה לחלקים מתוך אוצר מילים קבוע של עשרות אלפי מקטעים. מילים נפוצות הן טוקן אחד. מילים נדירות הן שניים או שלושה. "The" הוא טוקן אחד; "tokenization" הוא בדרך כלל שניים או שלושה; כתובת URL ארוכה יכולה להיות עשרות.

כלל האצבע ש-OpenAI מפרסמת לטקסט באנגלית: טוקן אחד הוא בערך ארבעה תווים, או בערך שלושת רבעי מילה. אז 100 טוקנים הם בערך 75 מילים, ו-1,000 טוקנים הם עמוד וחצי.

שני דברים גורמים לספירה לזוז. קוד רץ צפוף יותר, קרוב יותר לטוקן אחד לכל שלושה תווים, בגלל סימנים והזחות. ושפות שפחות מיוצגות בנתוני האימון של הטוקנייזר עולות יותר: אותה משמעות בתאילנדית, הינדי או ערבית יכולה לקחת פי שניים עד שלושה יותר טוקנים מהגרסה האנגלית, וזה משנה אם משלמים לפי טוקן וכותבים באחת מהן.

אפשר לראות זאת בעצמכם. הדביקו טקסט כלשהו במחשבון עלות הטוקנים והוא יציג את הספירה והמחיר בכל מודל.

טוקני קלט וטוקני פלט הם שני מחירים שונים

לכל הודעה יש שני חצאים. טוקני קלט הם כל מה שהמודל קורא: השאלה שלכם, הוראות המערכת, השיחה עד כה, כל קובץ שצירפתם. טוקני פלט הם מה שהמודל כותב בחזרה.

ספקים גובים על השניים בתעריפים שונים, והפער אינו קטן. הטבלה היא מחיר מחירון למיליון טוקנים ממדד עלות מודלי AI, עם מחירים שנשלפו מ-OpenRouter ב-2026-08-20.

פלט יקר יותר בגלל האופן שבו המודל פועל. קריאת הקלט מתבצעת במעבר מקבילי אחד על כל הטוקנים בבת אחת. כתיבת הפלט מתבצעת טוקן אחד בכל פעם, וכל טוקן חדש דורש מעבר נוסף דרך כל המודל. תשובה של 500 טוקנים היא 500 מעברים סדרתיים.

כמה באמת עולה הודעה, מפורק לפי שלבים

קחו החלפה טיפוסית: שאלה של 300 מילים עם פסקת הקשר, נענית ב-400 מילים. זה בערך 400 טוקני קלט ו-530 טוקני פלט.

• ב-GPT-5.6 Luna: 400 × $0.20 למיליון בתוספת 530 × $1.20 למיליון, כלומר $0.00008 בתוספת $0.00064, בערך $0.0007. שבע מאיות הסנט.
• ב-Claude Sonnet 5: 400 × $2 בתוספת 530 × $10, למיליון, כלומר $0.0008 בתוספת $0.0053, בערך $0.006. קצת יותר מחצי סנט.
• ב-GPT-5.5: 400 × $5 בתוספת 530 × $30, למיליון, כלומר $0.002 בתוספת $0.0159, בערך $0.018. כמעט שני סנט.

שימו לב שחצי הפלט הוא 80 עד 90 אחוז מהחשבון בכל שורה. הצורה של ההודעה, ולא רק המודל, קובעת את העלות: שאלה בת שורה אחת שמבקשת חיבור בן 2,000 מילים היא הדפוס היקר, ומסמך ארוך עם שאלת שורה אחת עליו הוא הזול על אותו מודל.

התרחקו קצת ופיזור המחירים על פני כל הקטלוג הוא הסיפור האמיתי. כל מודל מתומחר במדד עלות מודלי AI יושב על השורה למטה לפי כמה עולה תשובה סטנדרטית אחת. הזול ביותר, Ling-3.0-flash, הוא $0.000053; היקר ביותר, Claude Opus 4.7 במצב המהיר שלו, הוא $0.105: פער של בערך פי 2,000 על אותם 1,500 טוקנים.

הכפלה נוספת היא היסטוריה. בצ'אט, המודל קורא מחדש את כל השיחה בכל תור, כך שספירת הקלט גדלה עם כל הודעה. שיחה בת 40 תורות שולחת את ההודעה הראשונה 40 פעם. זו הסיבה שרשומות ארוכות מאטות ולמה מהו חלון הקשר הוא הגבול שאליו מגיעים בסוף.

למה מנוי מסתיר את המונה אבל לא מבטל אותו

תוכניות צרכניות גובות דמי מנוי חודשיים קבועים, ומתחת לדמי המנוי הזה כל ספק עדיין סופר טוקנים. הספירה עולה לפני השטח כתקרות הודעות, קיר "הגעתם למגבלה", והמעבר השקט למודל קטן יותר כשהתקציב נגמר.

Whizi מודדת בכיוון ההפוך. לכל מודל יש מחיר קרדיטים קבוע להודעה: קרדיט 1 למודל הבית, 10 ל-Claude Sonnet 5, 20 ל-Claude Opus 5 ו-GPT-5.5, ו-100 בראש הסולם ממש. המספר לעולם לא תלוי באורך ההודעה שלכם או של התשובה. הסולם מעוגן בתור טוקנים אמיתי, 3,000 טוקנים בכניסה ו-800 ביציאה על מודל הבית, שעולה בערך $0.00156 בהוצאת הספק ומגדיר קרדיט אחד. באיך פועלים הקרדיטים של Whizi הטבלה המלאה.

העסקה מכוונת. מונה לפי טוקן הוא מדויק ובלתי צפוי; קרדיט להודעה הוא נדיב במעט להודעות ארוכות וקמצן במעט לקצרות, ואתם תמיד יודעים את המחיר לפני שאתם לוחצים שליחה.

טוקנים הם גם מגבלת הקיבולת

הסיבה השנייה שטוקנים חשובים היא קיבולת. לכל מודל יש חלון הקשר הנמדד בטוקנים: המקסימום שהוא יכול לשקול בבת אחת, קלט ופלט יחד. Claude Haiku 4.5 מחזיק 200,000 טוקנים. GPT-5.6 Terra, Claude Sonnet 5 ו-Gemini 3.7 Flash מחזיקים בערך מיליון. ב-750 מילים לכל 1,000 טוקנים, מיליון טוקנים הם בערך 750,000 מילים, או בערך 1,500 עמודים.

החלון אינו חינם. מילוי שלו עולה טוקני קלט בכל תור, כך שמסמך בן 300,000 טוקנים שנשאלות עליו עשר שאלות הוא 3 מיליון טוקני קלט, שזה $6 ב-Claude Sonnet 5 במחיר מחירון. אחזור, שבו האפליקציה מחפשת במסמך ושולחת רק את העמודים הרלוונטיים, קיים כדי להימנע בדיוק מהחשבון הזה. מהו RAG מסביר את המנגנון, ובהשוואת חלונות הקשר המגבלה של כל מודל בטבלה אחת. שלחו את העמודים שהשאלה צריכה, לעולם לא את הקובץ כולו.