---
title: "LLM में टोकन क्या है? आसान भाषा में समझें | BroadRouter"
description: "टोकन टेक्स्ट की वह इकाई है जिसे LLM पढ़ता और लिखता है, और जिससे API बिल और लिमिट तय होती है। टोकनाइज़र टेक्स्ट कैसे बाँटते हैं, शब्दों का अंदाज़ा, और लागत।"
url: https://broadrouter.com/hi/glossary/token/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/token/) (2026-11-14 को अपडेट किया गया).

# टोकन (token)

अपडेट किया गया 2026-11-14

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

अन्य नाम: टोकन, टोकन्स, LLM टोकन, टोकनाइज़ेशन, token kya hai, token kya hota hai, LLM token, token, tokens, tokenization

मॉडल अक्षर या शब्द नहीं देखते। वे पूर्णांकों का एक क्रम देखते हैं, जिनमें से हर एक किसी तय वोकैबुलरी के टेक्स्ट के एक टुकड़े को दर्शाता है। यही टुकड़े टोकन हैं।

## यह कैसे काम करता है

मॉडल के पढ़ने से पहले एक [टोकनाइज़र](https://broadrouter.com/hi/glossary/tokenizer/) टेक्स्ट को बाँटता है। ज़्यादातर आधुनिक मॉडल सबवर्ड तरीक़े इस्तेमाल करते हैं, जैसे [byte pair encoding (BPE)](https://broadrouter.com/hi/glossary/bpe/)। आम शब्द पूरे रहते हैं; दुर्लभ शब्द हिस्सों में टूटते हैं। Hugging Face का उदाहरण: `annoyingly` बदलकर `annoying` और `ly` बन सकता है।

बाइट-लेवल BPE 256 बाइट वैल्यू से शुरू होता है, इसलिए कोई भी इनपुट एनकोड हो सकता है, इमोजी और हर लिपि समेत।

अंग्रेज़ी के लिए OpenAI का मोटा नियम है कि एक टोकन लगभग 4 अक्षर या 0.75 शब्द होता है, यानी 100 टोकन लगभग 75 शब्द। पाँच मौजूदा टोकनाइज़र पर अंग्रेज़ी गद्य के हमारे अपने माप में प्रति 100 शब्द लगभग 129 टोकन, या प्रति 1,000 शब्द 1,290 टोकन आए, जो मोटे नियम के क़रीब है। दोनों ही अनुपात सिर्फ़ अनुमान हैं:

-   दूसरी भाषाएँ, अरबी समेत, मुख्य रूप से अंग्रेज़ी पर ट्रेन किए गए टोकनाइज़र पर अक्सर प्रति शब्द ज़्यादा टोकन में बँटती हैं;
-   कोड, संख्याएँ और व्हाइटस्पेस गद्य से अलग तरह टोकनाइज़ होते हैं;
-   हर मॉडल फ़ैमिली की अपनी वोकैबुलरी होती है।

भेजने से पहले अनुमान लगाने के लिए टेक्स्ट को [टोकन काउंटर](https://broadrouter.com/tools/token-counter/) में पेस्ट करें। API हर रिस्पॉन्स के `usage` ब्लॉक में असली गिनती बताता है:

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## यह क्यों मायने रखता है

LLM API की लगभग हर संख्या के पीछे इकाई टोकन ही है:

-   **कीमत.** प्रति-टोकन API प्रति 10 लाख (1M) [इनपुट और आउटपुट टोकन](https://broadrouter.com/hi/glossary/input-and-output-tokens/) पर बिल बनाते हैं, अक्सर अलग-अलग दरों पर।
-   **लिमिट.** [कॉन्टेक्स्ट विंडो](https://broadrouter.com/hi/glossary/context-window/) और `max_tokens` टोकन में मापे जाते हैं, और कई रेट लिमिट प्रति मिनट टोकन गिनती हैं।
-   **स्पीड.** जनरेशन की स्पीड [टोकन प्रति सेकंड](https://broadrouter.com/hi/glossary/tokens-per-second/) में बताई जाती है।

एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या के टोकन हो सकता है, ख़ास तौर पर अरबी में। [टोकनाइज़र एफ़िशिएंसी डेटासेट](https://broadrouter.com/data/tokenizer-efficiency/) हर मॉडल के लिए अंग्रेज़ी, अरबी और कोड में प्रति 100 शब्द टोकन मापता है।

## BroadNet Inference पर

चैट मॉडल की कीमत प्रति 10 लाख टोकन है। [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) के लिए नया इनपुट $0.175, [कैश्ड इनपुट](https://broadrouter.com/hi/glossary/cached-input-tokens/) $0.0055 और आउटपुट $0.52 का है। [BroadNet Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) का इनपुट $0.10 और आउटपुट $0.22 है। हर मॉडल की दरें [कीमतों वाले पेज](https://broadrouter.com/hi/pricing/) पर हैं।

फ़्लैट प्लान पर टोकन मीटर ही नहीं होते: DeepSeek V4.1 Flash के सेशन में कोई टोकन मीटर नहीं है, और असली सीमा स्पीड है, लगभग 100 टोकन प्रति सेकंड। स्पीच-टू-टेक्स्ट मॉडल प्रति टोकन नहीं, प्रति ऑडियो मिनट बिल होते हैं।

## आम ग़लतियाँ

-   ग़ैर-अंग्रेज़ी टेक्स्ट की लागत शब्दों की गिनती से आँकना। असली सैंपल पर `usage` से मापें।
-   यह भूल जाना कि रीज़निंग मॉडल सोचने पर भी आउटपुट टोकन ख़र्च करते हैं। देखें [रीज़निंग टोकन](https://broadrouter.com/hi/glossary/reasoning-tokens/)।

## अक्सर पूछे जाने वाले सवाल

### 1,000 टोकन में कितने शब्द होते हैं?

अंग्रेज़ी गद्य में, पाँच टोकनाइज़र पर BroadRouter के अपने माप के अनुसार लगभग 775 शब्द (1,000 अंग्रेज़ी शब्द लगभग 1,290 टोकन बने)। OpenAI का मोटा नियम, कि एक टोकन लगभग तीन-चौथाई शब्द होता है, 750 देता है। दूसरी भाषाओं, कोड और दूसरे मॉडलों के टोकनाइज़र में अनुपात अलग होता है, इसलिए जब सटीक संख्या मायने रखे, तो मॉडल के अपने टोकनाइज़र से गिनें।

### क्या इमेज और ऑडियो भी टोकन में गिने जाते हैं?

विज़न मॉडल को भेजी गई इमेज इनपुट टोकन में बदली जाती हैं, और बड़ी इमेज आम तौर पर ज़्यादा टोकन लेती हैं। स्पीच-टू-टेक्स्ट API की कीमत अक्सर प्रति टोकन के बजाय प्रति ऑडियो मिनट होती है।

### एक ही टेक्स्ट दो मॉडलों पर अलग-अलग टोकन क्यों लेता है?

हर मॉडल फ़ैमिली का अपना टोकनाइज़र और वोकैबुलरी होती है, इसलिए एक ही वाक्य अलग-अलग संख्या के टुकड़ों में बँट सकता है।

## यह भी देखें

-   [इनपुट और आउटपुट टोकन (input and output tokens)](https://broadrouter.com/hi/glossary/input-and-output-tokens/) (शब्द)
-   [कैश्ड इनपुट टोकन (cached input tokens)](https://broadrouter.com/hi/glossary/cached-input-tokens/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [टोकन प्रति सेकंड (tokens per second, TPS)](https://broadrouter.com/hi/glossary/tokens-per-second/) (शब्द)
-   [टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/) (शब्द)
-   [बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)](https://broadrouter.com/hi/glossary/bpe/) (शब्द)
-   [वोकैबुलरी साइज़ (vocabulary size)](https://broadrouter.com/hi/glossary/vocabulary-size/) (शब्द)
-   [लॉगप्रॉब्स (logprobs)](https://broadrouter.com/hi/glossary/logprobs/) (शब्द)
-   [chat completions स्ट्रीम करें और टूटे कनेक्शन सँभालें](https://broadrouter.com/hi/guides/streaming-chat-completions/) (गाइड)
-   [कैश्ड इनपुट टोकन क्या हैं: LLM API का बिल कैसे घटाएँ](https://broadrouter.com/hi/blog/cached-input-tokens-explained/) (लेख)
-   [फ़्लैट रेट बनाम प्रति टोकन LLM API: ब्रेक-ईवन का हिसाब](https://broadrouter.com/hi/blog/flat-rate-vs-pay-per-token-llm-api/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-token&utm_content=page-cta) ·

**स्रोत**

-   [Hugging Face Transformers, टोकनाइज़ेशन एल्गोरिदम (BPE, Unigram, WordPiece)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI, मुख्य अवधारणाएँ (टोकन का मोटा नियम)](https://developers.openai.com/api/docs/concepts)
-   [BroadNet Inference की मशीन से पढ़ी जा सकने वाली कीमतें (pricing.json) (अंग्रेज़ी में)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-token&utm_content=sources)
