BroadRouter
शुरू करें

टोकन (token)

अपडेट किया गया

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

अन्य नाम: टोकन, टोकन्स, LLM टोकन, टोकनाइज़ेशन, token kya hai, token kya hota hai, LLM token, token, tokens, tokenization

मॉडल अक्षर या शब्द नहीं देखते। वे पूर्णांकों का एक क्रम देखते हैं, जिनमें से हर एक किसी तय वोकैबुलरी के टेक्स्ट के एक टुकड़े को दर्शाता है। यही टुकड़े टोकन हैं।

यह कैसे काम करता है

मॉडल के पढ़ने से पहले एक टोकनाइज़र टेक्स्ट को बाँटता है। ज़्यादातर आधुनिक मॉडल सबवर्ड तरीक़े इस्तेमाल करते हैं, जैसे byte pair encoding (BPE)। आम शब्द पूरे रहते हैं; दुर्लभ शब्द हिस्सों में टूटते हैं। Hugging Face का उदाहरण: annoyingly बदलकर annoying और ly बन सकता है।

बाइट-लेवल BPE 256 बाइट वैल्यू से शुरू होता है, इसलिए कोई भी इनपुट एनकोड हो सकता है, इमोजी और हर लिपि समेत।

अंग्रेज़ी के लिए OpenAI का मोटा नियम है कि एक टोकन लगभग 4 अक्षर या 0.75 शब्द होता है, यानी 100 टोकन लगभग 75 शब्द। पाँच मौजूदा टोकनाइज़र पर अंग्रेज़ी गद्य के हमारे अपने माप में प्रति 100 शब्द लगभग 129 टोकन, या प्रति 1,000 शब्द 1,290 टोकन आए, जो मोटे नियम के क़रीब है। दोनों ही अनुपात सिर्फ़ अनुमान हैं:

  • दूसरी भाषाएँ, अरबी समेत, मुख्य रूप से अंग्रेज़ी पर ट्रेन किए गए टोकनाइज़र पर अक्सर प्रति शब्द ज़्यादा टोकन में बँटती हैं;
  • कोड, संख्याएँ और व्हाइटस्पेस गद्य से अलग तरह टोकनाइज़ होते हैं;
  • हर मॉडल फ़ैमिली की अपनी वोकैबुलरी होती है।

भेजने से पहले अनुमान लगाने के लिए टेक्स्ट को टोकन काउंटर में पेस्ट करें। API हर रिस्पॉन्स के usage ब्लॉक में असली गिनती बताता है:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

यह क्यों मायने रखता है

LLM API की लगभग हर संख्या के पीछे इकाई टोकन ही है:

एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या के टोकन हो सकता है, ख़ास तौर पर अरबी में। टोकनाइज़र एफ़िशिएंसी डेटासेट हर मॉडल के लिए अंग्रेज़ी, अरबी और कोड में प्रति 100 शब्द टोकन मापता है।

BroadNet Inference पर

चैट मॉडल की कीमत प्रति 10 लाख टोकन है। DeepSeek V4.1 Flash के लिए नया इनपुट $0.175, कैश्ड इनपुट $0.0055 और आउटपुट $0.52 का है। BroadNet Gemma 4 VL 26B का इनपुट $0.10 और आउटपुट $0.22 है। हर मॉडल की दरें कीमतों वाले पेज पर हैं।

फ़्लैट प्लान पर टोकन मीटर ही नहीं होते: DeepSeek V4.1 Flash के सेशन में कोई टोकन मीटर नहीं है, और असली सीमा स्पीड है, लगभग 100 टोकन प्रति सेकंड। स्पीच-टू-टेक्स्ट मॉडल प्रति टोकन नहीं, प्रति ऑडियो मिनट बिल होते हैं।

आम ग़लतियाँ

  • ग़ैर-अंग्रेज़ी टेक्स्ट की लागत शब्दों की गिनती से आँकना। असली सैंपल पर usage से मापें।
  • यह भूल जाना कि रीज़निंग मॉडल सोचने पर भी आउटपुट टोकन ख़र्च करते हैं। देखें रीज़निंग टोकन।

अक्सर पूछे जाने वाले सवाल

1,000 टोकन में कितने शब्द होते हैं?

अंग्रेज़ी गद्य में, पाँच टोकनाइज़र पर BroadRouter के अपने माप के अनुसार लगभग 775 शब्द (1,000 अंग्रेज़ी शब्द लगभग 1,290 टोकन बने)। OpenAI का मोटा नियम, कि एक टोकन लगभग तीन-चौथाई शब्द होता है, 750 देता है। दूसरी भाषाओं, कोड और दूसरे मॉडलों के टोकनाइज़र में अनुपात अलग होता है, इसलिए जब सटीक संख्या मायने रखे, तो मॉडल के अपने टोकनाइज़र से गिनें।

क्या इमेज और ऑडियो भी टोकन में गिने जाते हैं?

विज़न मॉडल को भेजी गई इमेज इनपुट टोकन में बदली जाती हैं, और बड़ी इमेज आम तौर पर ज़्यादा टोकन लेती हैं। स्पीच-टू-टेक्स्ट API की कीमत अक्सर प्रति टोकन के बजाय प्रति ऑडियो मिनट होती है।

एक ही टेक्स्ट दो मॉडलों पर अलग-अलग टोकन क्यों लेता है?

हर मॉडल फ़ैमिली का अपना टोकनाइज़र और वोकैबुलरी होती है, इसलिए एक ही वाक्य अलग-अलग संख्या के टुकड़ों में बँट सकता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें