मॉडल अक्षर या शब्द नहीं देखते। वे पूर्णांकों का एक क्रम देखते हैं, जिनमें से हर एक किसी तय वोकैबुलरी के टेक्स्ट के एक टुकड़े को दर्शाता है। यही टुकड़े टोकन हैं।
यह कैसे काम करता है
मॉडल के पढ़ने से पहले एक टोकनाइज़र टेक्स्ट को बाँटता है। ज़्यादातर आधुनिक मॉडल सबवर्ड तरीक़े इस्तेमाल करते हैं, जैसे byte pair encoding (BPE)। आम शब्द पूरे रहते हैं; दुर्लभ शब्द हिस्सों में टूटते हैं। Hugging Face का उदाहरण: annoyingly बदलकर annoying और ly बन सकता है।
बाइट-लेवल BPE 256 बाइट वैल्यू से शुरू होता है, इसलिए कोई भी इनपुट एनकोड हो सकता है, इमोजी और हर लिपि समेत।
अंग्रेज़ी के लिए OpenAI का मोटा नियम है कि एक टोकन लगभग 4 अक्षर या 0.75 शब्द होता है, यानी 100 टोकन लगभग 75 शब्द। पाँच मौजूदा टोकनाइज़र पर अंग्रेज़ी गद्य के हमारे अपने माप में प्रति 100 शब्द लगभग 129 टोकन, या प्रति 1,000 शब्द 1,290 टोकन आए, जो मोटे नियम के क़रीब है। दोनों ही अनुपात सिर्फ़ अनुमान हैं:
- दूसरी भाषाएँ, अरबी समेत, मुख्य रूप से अंग्रेज़ी पर ट्रेन किए गए टोकनाइज़र पर अक्सर प्रति शब्द ज़्यादा टोकन में बँटती हैं;
- कोड, संख्याएँ और व्हाइटस्पेस गद्य से अलग तरह टोकनाइज़ होते हैं;
- हर मॉडल फ़ैमिली की अपनी वोकैबुलरी होती है।
भेजने से पहले अनुमान लगाने के लिए टेक्स्ट को टोकन काउंटर में पेस्ट करें। API हर रिस्पॉन्स के usage ब्लॉक में असली गिनती बताता है:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
यह क्यों मायने रखता है
LLM API की लगभग हर संख्या के पीछे इकाई टोकन ही है:
- कीमत. प्रति-टोकन API प्रति 10 लाख (1M) इनपुट और आउटपुट टोकन पर बिल बनाते हैं, अक्सर अलग-अलग दरों पर।
- लिमिट. कॉन्टेक्स्ट विंडो और
max_tokensटोकन में मापे जाते हैं, और कई रेट लिमिट प्रति मिनट टोकन गिनती हैं। - स्पीड. जनरेशन की स्पीड टोकन प्रति सेकंड में बताई जाती है।
एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या के टोकन हो सकता है, ख़ास तौर पर अरबी में। टोकनाइज़र एफ़िशिएंसी डेटासेट हर मॉडल के लिए अंग्रेज़ी, अरबी और कोड में प्रति 100 शब्द टोकन मापता है।
BroadNet Inference पर
चैट मॉडल की कीमत प्रति 10 लाख टोकन है। DeepSeek V4.1 Flash के लिए नया इनपुट $0.175, कैश्ड इनपुट $0.0055 और आउटपुट $0.52 का है। BroadNet Gemma 4 VL 26B का इनपुट $0.10 और आउटपुट $0.22 है। हर मॉडल की दरें कीमतों वाले पेज पर हैं।
फ़्लैट प्लान पर टोकन मीटर ही नहीं होते: DeepSeek V4.1 Flash के सेशन में कोई टोकन मीटर नहीं है, और असली सीमा स्पीड है, लगभग 100 टोकन प्रति सेकंड। स्पीच-टू-टेक्स्ट मॉडल प्रति टोकन नहीं, प्रति ऑडियो मिनट बिल होते हैं।
आम ग़लतियाँ
- ग़ैर-अंग्रेज़ी टेक्स्ट की लागत शब्दों की गिनती से आँकना। असली सैंपल पर
usageसे मापें। - यह भूल जाना कि रीज़निंग मॉडल सोचने पर भी आउटपुट टोकन ख़र्च करते हैं। देखें रीज़निंग टोकन।