टोकन एक शब्द का टुकड़ा है, पूरा शब्द नहीं
मॉडल अक्षर नहीं पढ़ते और शब्द भी नहीं पढ़ते। आपका मैसेज मॉडल तक पहुंचने से पहले, एक टोकनाइज़र इसे दसियों हज़ार टुकड़ों की एक तय शब्दावली में से टुकड़ों में बांट देता है। आम शब्द एक टोकन के होते हैं। दुर्लभ शब्द दो या तीन के। "The" एक टोकन है; "tokenization" आम तौर पर दो या तीन का; एक लंबा URL दर्जनों टोकन का हो सकता है।
OpenAI अंग्रेज़ी टेक्स्ट के लिए जो अंगूठे का नियम बताता है: एक टोकन लगभग चार अक्षरों का, या लगभग तीन चौथाई शब्द का होता है। तो 100 टोकन लगभग 75 शब्दों के बराबर हैं, और 1,000 टोकन डेढ़ पेज के बराबर।
दो चीज़ें गिनती को बदल देती हैं। कोड ज़्यादा घना चलता है, लगभग एक टोकन प्रति तीन अक्षर, सिंबल और इंडेंटेशन की वजह से। और जो भाषाएं टोकनाइज़र के ट्रेनिंग डेटा में कम मौजूद हैं वे ज़्यादा महंगी पड़ती हैं: वही मतलब थाई, हिंदी या अरबी में अंग्रेज़ी वर्ज़न से दो से तीन गुना ज़्यादा टोकन ले सकता है, जो मायने रखता है अगर आप प्रति टोकन भुगतान कर रहे हैं और इन्हीं में से किसी भाषा में लिख रहे हैं।
आप खुद देख सकते हैं। किसी भी टेक्स्ट को टोकन कॉस्ट कैलकुलेटर में पेस्ट करें और यह हर मॉडल पर गिनती और कीमत दिखा देता है।
इनपुट टोकन और आउटपुट टोकन की कीमतें अलग होती हैं
हर मैसेज के दो हिस्से होते हैं। इनपुट टोकन वह सब कुछ है जो मॉडल पढ़ता है: आपका सवाल, सिस्टम इंस्ट्रक्शन, अब तक की बातचीत, कोई भी फ़ाइल जो आपने अटैच की हो। आउटपुट टोकन वह है जो मॉडल वापस लिखता है।
प्रोवाइडर दोनों को अलग दरों पर चार्ज करते हैं, और यह अंतर छोटा नहीं है। यह टेबल AI मॉडल कॉस्ट इंडेक्स से लिस्ट प्राइस प्रति मिलियन टोकन है, कीमतें OpenRouter से 2026-08-20 को ली गई हैं।
| मॉडल | इनपुट, $ प्रति मिलियन | आउटपुट, $ प्रति मिलियन | आउटपुट से इनपुट अनुपात |
|---|---|---|---|
| GPT-5.6 Luna | $0.20 | $1.20 | 6x |
| Gemini 3.7 Flash | $0.375 | $1.875 | 5x |
| Claude Haiku 4.5 | $1 | $5 | 5x |
| Claude Sonnet 5 | $2 | $10 | 5x |
| GPT-5.6 Terra | $2 | $12 | 6x |
| Claude Opus 5 | $5 | $25 | 5x |
| GPT-5.5 | $5 | $30 | 6x |
आउटपुट ज़्यादा महंगा इसलिए है क्योंकि मॉडल जिस तरह काम करता है। इनपुट पढ़ना एक साथ सभी टोकन पर एक पैरेलल पास में होता है। आउटपुट लिखना एक-एक टोकन करके होता है, हर नया टोकन पूरे मॉडल से एक और पास मांगता है। 500-टोकन का जवाब मतलब 500 सीक्वेंशियल पास।
एक असली मैसेज की कीमत क्या होती है, हिसाब लगाकर
एक आम बातचीत लें: 300 शब्दों का सवाल एक पैराग्राफ के कॉन्टेक्स्ट के साथ, 400 शब्दों में जवाब दिया गया। यह लगभग 400 इनपुट टोकन और 530 आउटपुट टोकन है।
- GPT-5.6 Luna पर: 400 × $0.20 प्रति मिलियन और 530 × $1.20 प्रति मिलियन, जो $0.00008 और $0.00064 है, कुल लगभग $0.0007। एक सेंट का सातवां हिस्सा।
- Claude Sonnet 5 पर: 400 × $2 और 530 × $10, प्रति मिलियन, जो $0.0008 और $0.0053 है, कुल लगभग $0.006। आधे सेंट से थोड़ा ज़्यादा।
- GPT-5.5 पर: 400 × $5 और 530 × $30, प्रति मिलियन, जो $0.002 और $0.0159 है, कुल लगभग $0.018। लगभग दो सेंट।
ध्यान दें कि हर लाइन में आउटपुट वाला हिस्सा बिल का 80 से 90 प्रतिशत है। मैसेज का आकार, न कि सिर्फ मॉडल, कीमत तय करता है: एक लाइन का सवाल जो 2,000 शब्दों के निबंध की मांग करे सबसे महंगा पैटर्न है, और एक लंबा दस्तावेज़ जिसके बारे में एक लाइन का सवाल पूछा जाए वही मॉडल पर सबसे सस्ता।
ज़ूम आउट करें तो पूरे कैटलॉग में फैलाव ही असली कहानी है। AI मॉडल कॉस्ट इंडेक्स में हर प्राइस्ड मॉडल नीचे की लाइन पर इस आधार पर बैठता है कि एक स्टैंडर्ड जवाब की कीमत क्या है। सबसे सस्ता, Ling-3.0-flash, $0.000053 है; सबसे महंगा, Claude Opus 4.7 अपने फास्ट मोड में, $0.105 है: वही 1,500 टोकन के लिए लगभग 2,000 गुना का फर्क।
दूसरा गुणक इतिहास है। एक चैट में, मॉडल हर टर्न पर पूरी बातचीत दोबारा पढ़ता है, इसलिए इनपुट गिनती हर मैसेज के साथ बढ़ती जाती है। 40-टर्न की बातचीत पहला मैसेज 40 बार भेजती है। यही वजह है कि लंबी थ्रेड्स धीमी हो जाती हैं और कॉन्टेक्स्ट विंडो क्या है वह सीमा है जिससे आप आखिरकार टकराते हैं।
सब्सक्रिप्शन मीटर को क्यों छुपाता है पर हटाता नहीं
कंज़्यूमर प्लान एक फ्लैट मासिक फीस लेते हैं, और उस फीस के नीचे हर प्रोवाइडर अब भी टोकन गिन रहा है। यह गिनती मैसेज कैप के रूप में सामने आती है, "आप अपनी सीमा तक पहुंच गए हैं" वाली दीवार, और बजट कम होने पर चुपचाप छोटे मॉडल पर स्विच होना।
Whizi इसे उलटे तरीके से मीटर करता है। हर मॉडल का हर मैसेज पर एक तय क्रेडिट प्राइस है: हाउस मॉडल के लिए 1 क्रेडिट, Claude Sonnet 5 के लिए 10, Claude Opus 5 और GPT-5.5 के लिए 20, और सीढ़ी के सबसे ऊपर 100। यह संख्या कभी इस बात पर निर्भर नहीं करती कि आपका मैसेज या जवाब कितना लंबा था। सीढ़ी एक असली टोकन टर्न से जुड़ी है, हाउस मॉडल पर 3,000 टोकन इनपुट और 800 आउटपुट, जिसकी प्रोवाइडर लागत लगभग $0.00156 है और जो एक क्रेडिट को परिभाषित करती है। Whizi क्रेडिट कैसे काम करते हैं में पूरी टेबल है।
यह ट्रेड-ऑफ जानबूझकर है। प्रति-टोकन मीटर सटीक और अप्रत्याशित होता है; प्रति-मैसेज क्रेडिट लंबे मैसेज के साथ थोड़ा उदार और छोटे के साथ थोड़ा कंजूस होता है, और आपको भेजने से पहले ही कीमत हमेशा पता होती है।
टोकन क्षमता की सीमा भी हैं
टोकन के मायने रखने की दूसरी वजह क्षमता है। हर मॉडल की एक कॉन्टेक्स्ट विंडो होती है जो टोकन में मापी जाती है: वह अधिकतम जो वह एक साथ ध्यान में रख सकता है, इनपुट और आउटपुट मिलाकर। Claude Haiku 4.5 में 200,000 टोकन हैं। GPT-5.6 Terra, Claude Sonnet 5 और Gemini 3.7 Flash में लगभग 1 मिलियन हैं। 1,000 टोकन में 750 शब्दों के हिसाब से, एक मिलियन टोकन लगभग 750,000 शब्द, या लगभग 1,500 पेज के बराबर है।
यह विंडो मुफ्त नहीं है। इसे भरने में हर टर्न पर इनपुट टोकन खर्च होते हैं, इसलिए 300,000-टोकन के दस्तावेज़ से दस सवाल पूछना 3 मिलियन इनपुट टोकन है, जो Claude Sonnet 5 पर लिस्ट प्राइस पर $6 पड़ता है। रिट्रीवल, जहां ऐप दस्तावेज़ में सर्च करता है और सिर्फ प्रासंगिक पेज भेजता है, ठीक इसी बिल से बचने के लिए है। RAG क्या है यह मैकेनिज़्म समझाता है, और कॉन्टेक्स्ट विंडो कंपेरिज़न में हर मॉडल की सीमा एक टेबल में है। वे पेज भेजें जो सवाल को चाहिए, कभी पूरी फ़ाइल नहीं।
- अंग्रेज़ी के लिए टोकन का अंदाज़ा चार अक्षर प्रति टोकन लगाएं, कोड के लिए तीन, और कम आम भाषाओं के लिए इसे दोगुना या तिगुना कर दें
- मान लें कि आउटपुट इनपुट से पांच से छह गुना महंगा है, इसलिए जवाब की लंबाई उतनी ही रखें जितनी ज़रूरत हो
- जब कोई थ्रेड लंबी हो जाए तो नई बातचीत शुरू करें; हर टर्न पूरी हिस्ट्री दोबारा भेजता है
- किसी लंबे दस्तावेज़ के सिर्फ प्रासंगिक पेज भेजें, या ऐसा टूल इस्तेमाल करें जो आपके लिए रिट्रीव करे, बजाय हर सवाल पर पूरी फ़ाइल भेजने के
- मॉडल चुनने से पहले प्रति-मैसेज कीमत जांचें; एक ही फैमिली में फ्लैगशिप मॉडल छोटे मॉडल से 5 से 25 गुना महंगा होता है
अक्सर पूछे जाने वाले सवाल
एक शब्द में कितने टोकन होते हैं?
औसतन एक अंग्रेज़ी शब्द में लगभग 1.3 टोकन, या प्रति टोकन तीन चौथाई शब्द। छोटे आम शब्द एक टोकन के होते हैं; लंबे या दुर्लभ शब्द दो या ज़्यादा में बंट जाते हैं। OpenAI का बताया अंगूठे का नियम है चार अक्षर प्रति टोकन, जिससे 1,000 टोकन लगभग 750 शब्दों के बराबर बनते हैं।
आउटपुट टोकन इनपुट टोकन से ज़्यादा महंगे क्यों होते हैं?
क्योंकि मॉडल आउटपुट एक-एक टोकन करके बनाता है, और हर टोकन को नेटवर्क से एक पूरा पास चाहिए होता है, जबकि वह इनपुट को एक पैरेलल पास में पढ़ लेता है। बड़े मॉडलों पर आउटपुट रेट इनपुट रेट से पांच से छह गुना है: Claude Sonnet 5 पर $2 इनपुट और $10 आउटपुट प्रति मिलियन, GPT-5.5 पर $5 इनपुट और $30 आउटपुट, OpenRouter की 2026-08-20 को ली गई लिस्ट प्राइस पर।
क्या सब्सक्रिप्शन प्रति टोकन चार्ज करता है?
बिल पर नहीं, पर नीचे हां। फ्लैट-फीस प्लान मैसेज कैप तय करते हैं और बजट कम होने पर चुपचाप आपको छोटे मॉडल पर भेज देते हैं, और दोनों ही असल में टोकन अकाउंटिंग हैं बस छुपी हुई। Whizi इसके बजाय हर मैसेज पर एक तय क्रेडिट संख्या लेता है, हाउस मॉडल पर 1 क्रेडिट से लेकर Claude Opus 5 और GPT-5.5 पर 20 तक, इसलिए कीमत भेजने से पहले ही पता होती है।
1,000 टोकन में कितने शब्द होते हैं?
अंग्रेज़ी गद्य के लगभग 750 शब्द, यानी लगभग डेढ़ पेज। कोड ज़्यादा घना होता है, 1,000 टोकन में लगभग 600 शब्द के कोड के बराबर, और जिन भाषाओं को टोकनाइज़र कम कुशलता से संभालता है उनमें वही 1,000 टोकन सिर्फ 300 से 400 शब्दों जितने हो सकते हैं।
क्या ChatGPT, Claude और Gemini में टोकन एक जैसे होते हैं?
नहीं। हर मॉडल फैमिली का अपना टोकनाइज़र और अपनी शब्दावली होती है, इसलिए एक ही वाक्य अलग-अलग मॉडलों पर अलग-अलग गिना जा सकता है। चार-अक्षर वाला नियम अनुमान के तौर पर सभी पर लागू होता है। किसी खास मॉडल पर सटीक गिनती के लिए, टेक्स्ट को किसी टोकनाइज़र टूल में पेस्ट करें।
