توکن هوش مصنوعی چیست؟

توکن یک تکه از کلمه است، نه یک کلمهٔ کامل

مدل‌ها حروف را نمی‌خوانند و کلمات را هم نمی‌خوانند. پیش از آنکه پیام شما به مدل برسد، یک توکِنایزر آن را به تکه‌هایی از یک واژگان ثابت با ده‌ها هزار قطعه تقسیم می‌کند. کلمات رایج یک توکن هستند. کلمات نادر دو یا سه توکن می‌شوند. «The» یک توکن است؛ «tokenization» معمولاً دو یا سه توکن است؛ یک URL طولانی می‌تواند ده‌ها توکن باشد.

قاعدهٔ سرانگشتی‌ای که OpenAI برای متن انگلیسی منتشر کرده این است: هر توکن حدود 4 کاراکتر است، یا حدود سه‌چهارم یک کلمه. پس 100 توکن تقریباً 75 کلمه است و 1,000 توکن یک صفحه و نیم می‌شود.

دو چیز باعث انحراف این شمارش می‌شوند. کد فشرده‌تر اجرا می‌شود، نزدیک به یک توکن در هر سه کاراکتر، به‌خاطر نمادها و تورفتگی‌ها. و زبان‌هایی که در داده‌های آموزشی توکِنایزر کمتر نمایندگی دارند هزینهٔ بیشتری دارند: همان معنا در تایلندی، هندی یا عربی می‌تواند دو تا سه برابر توکن‌های نسخهٔ انگلیسی را بگیرد، که اگر بر اساس توکن هزینه می‌پردازید و به یکی از این زبان‌ها می‌نویسید اهمیت دارد.

می‌توانید خودتان آن را ببینید. هر متنی را در ماشین‌حساب هزینهٔ توکن جای‌گذاری کنید و شمارش و قیمت آن را روی هر مدل نشان می‌دهد.

توکن‌های ورودی و توکن‌های خروجی دو قیمت متفاوت‌اند

هر پیام دو نیمه دارد. توکن‌های ورودی همه‌چیزی هستند که مدل می‌خواند: سؤال شما، دستورالعمل‌های سیستم، مکالمهٔ تا این لحظه، و هر فایلی که پیوست کرده‌اید. توکن‌های خروجی چیزی است که مدل پس می‌نویسد.

ارائه‌دهندگان این دو را با نرخ‌های متفاوت حساب می‌کنند، و فاصله کم نیست. جدول زیر قیمت فهرست به ازای هر میلیون توکن از شاخص هزینهٔ مدل‌های هوش مصنوعی است، با قیمت‌هایی که در تاریخ 2026-08-20 از OpenRouter گرفته شده‌اند.

خروجی گران‌تر است به‌خاطر نحوهٔ اجرای مدل. خواندن ورودی در یک عبور موازی روی همهٔ توکن‌ها همزمان انجام می‌شود. نوشتن خروجی یک توکن در هر بار انجام می‌شود، و هر توکن جدید نیازمند عبور دیگری از کل مدل است. یک پاسخ 500 توکنی یعنی 500 عبور پی‌درپی.

هزینهٔ یک پیام واقعی، محاسبه‌شده

یک تبادل معمولی را در نظر بگیرید: سؤالی 300 کلمه‌ای همراه با یک پاراگراف زمینه، که در 400 کلمه پاسخ داده می‌شود. این یعنی حدود 400 توکن ورودی و 530 توکن خروجی.

• روی GPT-5.6 Luna: 400 × $0.20 به ازای هر میلیون به‌علاوهٔ 530 × $1.20 به ازای هر میلیون، که می‌شود $0.00008 به‌علاوهٔ $0.00064، یعنی حدود $0.0007. هفت‌صدم سنت.
• روی Claude Sonnet 5: 400 × $2 به‌علاوهٔ 530 × $10، به ازای هر میلیون، که می‌شود $0.0008 به‌علاوهٔ $0.0053، یعنی حدود $0.006. کمی بیش از نیم سنت.
• روی GPT-5.5: 400 × $5 به‌علاوهٔ 530 × $30، به ازای هر میلیون، که می‌شود $0.002 به‌علاوهٔ $0.0159، یعنی حدود $0.018. نزدیک به دو سنت.

توجه کنید که نیمهٔ خروجی در هر ردیف 80 تا 90 درصد از صورت‌حساب است. شکل پیام، نه فقط مدل، هزینه را تعیین می‌کند: یک سؤال یک‌خطی که یک مقالهٔ 2,000 کلمه‌ای می‌خواهد الگوی گران است، و یک سند بلند با یک سؤال یک‌خطی دربارهٔ آن، روی همان مدل، الگوی ارزان است.

زوم بیرون بزنید و پراکندگی در کل کاتالوگ داستان واقعی است. هر مدل قیمت‌گذاری‌شده در شاخص هزینهٔ مدل‌های هوش مصنوعی بر اساس هزینهٔ یک پاسخ استاندارد روی خط زیر قرار می‌گیرد. ارزان‌ترین، Ling-3.0-flash، $0.000053 است؛ گران‌ترین، Claude Opus 4.7 در حالت سریع، $0.105 است: تقریباً 2,000 برابر فاصله برای همان 1,500 توکن.

ضریب دیگر تاریخچه است. در یک گفتگو، مدل کل مکالمه را در هر نوبت دوباره می‌خواند، بنابراین شمار ورودی با هر پیام رشد می‌کند. یک مکالمهٔ 40 نوبتی، پیام اول را 40 بار ارسال می‌کند. به همین دلیل است که رشته‌های طولانی کند می‌شوند و پنجرهٔ زمینه چیست محدودیتی است که سرانجام به آن می‌رسید.

چرا اشتراک کنتور را پنهان می‌کند اما آن را حذف نمی‌کند

طرح‌های مصرف‌کننده هزینهٔ ثابت ماهانه می‌گیرند، و زیر آن هزینه هر ارائه‌دهنده همچنان توکن‌ها را می‌شمرد. این شمارش به شکل سقف پیام، دیوار «به محدودیت خود رسیده‌اید»، و تعویض بی‌سروصدا به مدلی کوچک‌تر وقتی بودجه ته می‌کشد، سر برمی‌آورد.

Whizi برعکس کنتور می‌گذارد. هر مدل قیمت اعتبار ثابتی به ازای هر پیام دارد: 1 اعتبار برای مدل خانگی، 10 برای Claude Sonnet 5، 20 برای Claude Opus 5 و GPT-5.5، و 100 در بالاترین پلهٔ نردبان. این عدد هرگز به طول پیام یا پاسخ شما بستگی ندارد. نردبان به یک نوبت واقعی توکن، 3,000 توکن ورودی و 800 خروجی روی مدل خانگی، لنگر انداخته که حدود $0.00156 هزینهٔ ارائه‌دهنده دارد و یک اعتبار را تعریف می‌کند. اعتبارهای Whizi چگونه کار می‌کنند جدول کامل را دارد.

این معامله عمدی است. کنتور بر اساس توکن دقیق و غیرقابل‌پیش‌بینی است؛ اعتبار بر اساس پیام کمی نسبت به پیام‌های بلند سخاوتمندانه‌تر و نسبت به پیام‌های کوتاه کمی خسیس‌تر است، و شما همیشه قیمت را پیش از فشردن دکمهٔ ارسال می‌دانید.

توکن‌ها همچنین محدودیت ظرفیت‌اند

دلیل دوم اهمیت توکن‌ها ظرفیت است. هر مدل یک پنجرهٔ زمینه دارد که با توکن اندازه‌گیری می‌شود: حداکثر چیزی که می‌تواند همزمان در نظر بگیرد، ورودی و خروجی با هم. Claude Haiku 4.5 ظرفیت 200,000 توکن دارد. GPT-5.6 Terra، Claude Sonnet 5 و Gemini 3.7 Flash حدود 1 میلیون توکن ظرفیت دارند. با 750 کلمه به ازای هر 1,000 توکن، یک میلیون توکن تقریباً 750,000 کلمه، یا حدود 1,500 صفحه است.

این پنجره رایگان نیست. پر کردن آن در هر نوبت توکن ورودی هزینه دارد، پس یک سند 300,000 توکنی که ده سؤال از آن پرسیده شود می‌شود 3 میلیون توکن ورودی، که روی Claude Sonnet 5 با قیمت فهرست $6 است. بازیابی، جایی که برنامه سند را جست‌وجو می‌کند و فقط صفحات مرتبط را می‌فرستد، دقیقاً برای پرهیز از همین صورت‌حساب وجود دارد. RAG چیست این مکانیزم را توضیح می‌دهد، و مقایسهٔ پنجرهٔ زمینه محدودیت هر مدل را در یک جدول دارد. فقط صفحاتی را بفرستید که سؤال به آن نیاز دارد، هرگز کل فایل را.