টোকেন কাকে বলে? AI-তে টোকেন কী?

একটা টোকেন হলো একটা শব্দের টুকরো, পুরো শব্দ নয়

মডেলগুলো অক্ষর পড়ে না, আর শব্দও পড়ে না। আপনার মেসেজ মডেলে পৌঁছানোর আগে, একটা টোকেনাইজার সেটাকে কয়েক দশ হাজার টুকরোর একটা নির্দিষ্ট শব্দভাণ্ডার থেকে টুকরো টুকরো করে ভাগ করে। সাধারণ শব্দ একটা টোকেন। বিরল শব্দ দুই বা তিনটা। "The" একটা টোকেন; "tokenization" সাধারণত দুই বা তিনটা; একটা লম্বা URL কয়েক ডজন হতে পারে।

ইংরেজি লেখার জন্য OpenAI যে সাধারণ নিয়ম প্রকাশ করে: একটা টোকেন প্রায় চারটা অক্ষর, বা প্রায় তিন চতুর্থাংশ শব্দ। তাই 100 টোকেন মোটামুটি 75 শব্দ, আর 1,000 টোকেন একটা দেড় পাতা।

দুটো জিনিস গণনাকে সরিয়ে দেয়। কোড আরও ঘন হয়ে চলে, প্রতি তিন অক্ষরে একটা টোকেনের কাছাকাছি, চিহ্ন আর ইন্ডেন্টেশনের কারণে। আর যেসব ভাষা টোকেনাইজারের প্রশিক্ষণ ডেটায় কম প্রতিনিধিত্ব পায় সেগুলোর খরচ বেশি: থাই, হিন্দি বা আরবিতে একই অর্থ ইংরেজি সংস্করণের চেয়ে দুই থেকে তিন গুণ বেশি টোকেন নিতে পারে, যা গুরুত্বপূর্ণ হয়ে ওঠে যদি আপনি প্রতি টোকেনে দাম দেন আর এই ভাষাগুলোর একটাতে লেখেন।

নিজে দেখে নিতে পারেন। যেকোনো লেখা টোকেন কস্ট ক্যালকুলেটরে পেস্ট করুন, এটা প্রতিটা মডেলে গণনা আর দাম দেখাবে।

ইনপুট টোকেন আর আউটপুট টোকেন দুটো আলাদা দাম

প্রতিটা মেসেজের দুটো অংশ থাকে। ইনপুট টোকেন হলো মডেল যা কিছু পড়ে: আপনার প্রশ্ন, সিস্টেম নির্দেশনা, এখন পর্যন্ত কথোপকথন, আপনার সংযুক্ত করা যেকোনো ফাইল। আউটপুট টোকেন হলো মডেল যা লিখে ফেরত পাঠায়।

প্রোভাইডাররা এই দুটোর দাম আলাদা রাখে, আর পার্থক্যটা ছোট নয়। নিচের টেবিলটা AI মডেল কস্ট ইনডেক্স থেকে প্রতি মিলিয়ন টোকেনের তালিকা মূল্য, যেখানে দাম OpenRouter থেকে 2026-08-20 তারিখে সংগ্রহ করা।

আউটপুট বেশি দামি কারণ মডেল যেভাবে চলে। ইনপুট পড়া হয় একটা প্যারালাল পাসে, সব টোকেন একসাথে। আউটপুট লেখা হয় একটা একটা করে টোকেন, প্রতিটা নতুন টোকেনের জন্য পুরো মডেলের মধ্য দিয়ে আরেকটা পাস দরকার। 500 টোকেনের একটা উত্তর মানে 500টা ধারাবাহিক পাস।

একটা আসল মেসেজের দাম কত, হিসাব করে দেখা

একটা সাধারণ আদান-প্রদান নিন: একটা প্যারাগ্রাফ প্রসঙ্গসহ 300 শব্দের প্রশ্ন, যার উত্তর 400 শব্দে। সেটা প্রায় 400 ইনপুট টোকেন আর 530 আউটপুট টোকেন।

• GPT-5.6 Luna-তে: 400 × প্রতি মিলিয়নে $0.20 যোগ 530 × প্রতি মিলিয়নে $1.20, যা $0.00008 যোগ $0.00064, প্রায় $0.0007। এক সেন্টের সাত ভাগের একভাগ।
• Claude Sonnet 5-তে: 400 × $2 যোগ 530 × $10, প্রতি মিলিয়নে, যা $0.0008 যোগ $0.0053, প্রায় $0.006। আধা সেন্টের একটু বেশি।
• GPT-5.5-তে: 400 × $5 যোগ 530 × $30, প্রতি মিলিয়নে, যা $0.002 যোগ $0.0159, প্রায় $0.018। প্রায় দুই সেন্ট।

লক্ষ্য করুন প্রতিটা সারিতে আউটপুট অংশটা বিলের 80 থেকে 90 শতাংশ। শুধু মডেল নয়, মেসেজের আকারই খরচ ঠিক করে: একটা এক লাইনের প্রশ্ন যা 2,000 শব্দের প্রবন্ধ চায় সেটাই ব্যয়বহুল প্যাটার্ন, আর একই মডেলে একটা লম্বা নথি নিয়ে এক লাইনের প্রশ্ন সবচেয়ে সস্তা।

একটু দূর থেকে দেখলে পুরো ক্যাটালগ জুড়ে ব্যবধানটাই আসল গল্প। AI মডেল কস্ট ইনডেক্সের প্রতিটা দামি মডেল নিচের লাইনে বসে, একটা স্ট্যান্ডার্ড উত্তরের খরচ অনুযায়ী। সবচেয়ে সস্তা, Ling-3.0-flash, $0.000053; সবচেয়ে দামি, Claude Opus 4.7 তার ফাস্ট মোডে, $0.105: একই 1,500 টোকেনের জন্য প্রায় 2,000 গুণ ব্যবধান।

অন্য গুণক হলো ইতিহাস। একটা চ্যাটে, মডেল প্রতিটা টার্নে পুরো কথোপকথন আবার পড়ে, তাই ইনপুট গণনা প্রতিটা মেসেজের সাথে বাড়ে। একটা 40-টার্নের কথোপকথন প্রথম মেসেজটা 40 বার পাঠায়। এই কারণেই লম্বা থ্রেড ধীর হয়ে যায়, আর কেন কনটেক্সট উইন্ডো কী সেই সীমা যাতে আপনি শেষমেশ পৌঁছান।

একটা সাবস্ক্রিপশন কেন মিটার লুকায় কিন্তু সরায় না

কনজিউমার প্ল্যান একটা ফ্ল্যাট মাসিক ফি চার্জ করে, আর সেই ফি-র নিচে প্রতিটা প্রোভাইডার তখনো টোকেন গুনছে। গণনাটা প্রকাশ পায় মেসেজ ক্যাপ হিসেবে, "আপনি আপনার সীমায় পৌঁছেছেন" দেয়ালে, আর বাজেট কমে গেলে চুপচাপ একটা ছোট মডেলে বদল হিসেবে।

Whizi উল্টো দিক থেকে মিটার করে। প্রতিটা মডেলের প্রতি মেসেজে একটা নির্দিষ্ট ক্রেডিট দাম আছে: হাউস মডেলের জন্য 1 ক্রেডিট, Claude Sonnet 5-এর জন্য 10, Claude Opus 5 আর GPT-5.5-এর জন্য 20, আর মইয়ের একেবারে উপরে 100। সংখ্যাটা কখনো নির্ভর করে না আপনার মেসেজ বা উত্তর কত লম্বা ছিল তার উপর। মইটা একটা আসল টোকেন টার্নের সাথে বাঁধা, হাউস মডেলে 3,000 টোকেন ইন আর 800 আউট, যার খরচ প্রোভাইডারের হিসাবে প্রায় $0.00156 আর এটাই একটা ক্রেডিট নির্ধারণ করে। Whizi ক্রেডিট কীভাবে কাজ করে-তে পুরো টেবিল আছে।

এই বিনিময়টা ইচ্ছাকৃত। প্রতি টোকেনে মিটার নিখুঁত কিন্তু অনির্দেশ্য; প্রতি মেসেজে ক্রেডিট লম্বা মেসেজের প্রতি কিছুটা উদার আর ছোট মেসেজের প্রতি কিছুটা কৃপণ, আর আপনি সবসময় সেন্ড চাপার আগে দামটা জানেন।

টোকেন হলো ক্ষমতার সীমাও

টোকেন গুরুত্বপূর্ণ হওয়ার দ্বিতীয় কারণ হলো ক্ষমতা। প্রতিটা মডেলের একটা কনটেক্সট উইন্ডো আছে টোকেনে মাপা: একবারে সে যতটুকু বিবেচনা করতে পারে, ইনপুট আর আউটপুট মিলিয়ে। Claude Haiku 4.5 ধরে রাখে 200,000 টোকেন। GPT-5.6 Terra, Claude Sonnet 5 আর Gemini 3.7 Flash ধরে রাখে প্রায় 1 মিলিয়ন। প্রতি 1,000 টোকেনে 750 শব্দ হিসাবে, 1 মিলিয়ন টোকেন মোটামুটি 750,000 শব্দ, বা প্রায় 1,500 পাতা।

উইন্ডোটা বিনামূল্যে নয়। এটা ভরাট করলে প্রতিটা টার্নে ইনপুট টোকেন খরচ হয়, তাই একটা 300,000-টোকেনের নথি নিয়ে দশটা প্রশ্ন করলে সেটা 3 মিলিয়ন ইনপুট টোকেন, যা Claude Sonnet 5-এ তালিকা মূল্যে $6। রিট্রিভাল, যেখানে অ্যাপ নথিতে খোঁজে আর শুধু প্রাসঙ্গিক পাতাগুলো পাঠায়, ঠিক এই বিলটা এড়াতেই আছে। RAG কী এই প্রক্রিয়াটা ব্যাখ্যা করে, আর কনটেক্সট উইন্ডো তুলনা-তে প্রতিটা মডেলের সীমা একটা টেবিলে আছে। প্রশ্নের জন্য যে পাতাগুলো দরকার সেগুলো পাঠান, কখনো পুরো ফাইল না।