---
title: "टोकनाइज़र क्या है? LLM टेक्स्ट को टोकन में कैसे बाँटते हैं"
description: "टोकनाइज़र टेक्स्ट को उन टोकन ID में बदलता है जिन्हें LLM पढ़ता है। यह कैसे काम करता है और एक ही टेक्स्ट हर मॉडल पर अलग टोकन क्यों देता है, नापे गए अरबी डेटा के साथ।"
url: https://broadrouter.com/hi/glossary/tokenizer/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/tokenizer/) (2026-11-16 को अपडेट किया गया).

# टोकनाइज़र (tokenizer)

अपडेट किया गया 2026-11-16

टोकनाइज़र वह हिस्सा है जो टेक्स्ट को इंटीजर टोकन ID के उस क्रम में बदलता है जिसे लैंग्वेज मॉडल पढ़ता है, और जनरेट हुई ID को वापस टेक्स्ट में बदलता है। हर मॉडल अपने टोकनाइज़र के साथ आता है, इसलिए एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या में टोकन बना सकता है।

अन्य नाम: टोकनाइज़र, टोकनाइज़ेशन, tokenizer kya hai, tokenizer kya hota hai, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

टोकनाइज़र तय करता है कि आपका टेक्स्ट कितने [टोकन](https://broadrouter.com/hi/glossary/token/) बनेगा, और इसलिए कॉन्टेक्स्ट विंडो और बिल का कितना हिस्सा लेगा।

## यह कैसे काम करता है

टोकनाइज़र के दो हिस्से हैं: एक तय vocabulary जो टेक्स्ट के टुकड़ों को इंटीजर ID से जोड़ती है, और टेक्स्ट को उन टुकड़ों में बाँटने के नियम। Hugging Face का डॉक्यूमेंटेशन आम एल्गोरिदम को subword तरीके बताता है: आम शब्द पूरे रहते हैं और दुर्लभ शब्द छोटे, जाने-पहचाने टुकड़ों में बँट जाते हैं, इसलिए “annoyingly” बन सकता है “annoying” + “ly”। आज के ज़्यादातर LLM [byte pair encoding](https://broadrouter.com/hi/glossary/bpe/) या उसका कोई वैरिएंट इस्तेमाल करते हैं।

एन्कोडिंग तीन चरणों में चलती है:

1.  **प्री-टोकनाइज़.** स्पेस, विराम चिह्न और अंकों पर बाँटना।
2.  **टुकड़ों को ID से जोड़ना.** सीखे हुए merges लागू करना और हर टुकड़े को vocabulary में देखना।
3.  **स्पेशल टोकन जोड़ना.** चैट टेम्पलेट मैसेज को role markers में लपेटता है, जो भी गिने जाते हैं।

डिकोडिंग चरण 2 को उलटती है। ओपन-वेट मॉडलों के लिए यह सब मॉडल रिपो की `tokenizer.json` फ़ाइल में होता है।

## यह क्यों मायने रखता है

अलग टोकनाइज़र एक ही टेक्स्ट के लिए अलग गिनती देते हैं। हमने डेटासेट के टेक्स्ट को हर मॉडल के पिन किए गए टोकनाइज़र से एन्कोड किया (अंग्रेज़ी: Wikipedia और Project Gutenberg का गद्य; अरबी: 2,009 FLORES-200 वाक्य और तीन Wikipedia लीड; नापा गया 2026-11-15; प्रति 100 शब्द टोकन = टोकन / शब्द x 100):

| टेक्स्ट | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| अंग्रेज़ी गद्य, 1,183 शब्द | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| अरबी MSA, 39,037 शब्द | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

अंग्रेज़ी हर जगह क़रीब-क़रीब बराबर है। अरबी नहीं: एक ही टेक्स्ट के लिए GLM 5.3 को Qwen3.8 27B से 95,230 / 71,424 = 1.33 गुना टोकन चाहिए। प्रति-टोकन कीमत पर यह अंतर सीधे लागत का अंतर है, और इससे यह भी बदलता है कि [कॉन्टेक्स्ट विंडो](https://broadrouter.com/hi/glossary/context-window/) में कितनी अरबी आती है। Gemma कॉलम Google का बेस Gemma 4 टोकनाइज़र इस्तेमाल करता है; BroadNet का बिल्ड उसी मॉडल पर आधारित है, और हम मानते हैं कि उसमें वही टोकनाइज़र है। CSV और JSON डाउनलोड के साथ हर मॉडल के पूरे आँकड़े [टोकनाइज़र एफ़िशिएंसी डेटासेट](https://broadrouter.com/data/tokenizer-efficiency/) में हैं।

## BroadNet Inference पर

BroadNet पे-एज़-यू-गो चैट का बिल [इनपुट और आउटपुट टोकन](https://broadrouter.com/hi/glossary/input-and-output-tokens/) से लेता है और हर रिस्पॉन्स के `usage` ऑब्जेक्ट में गिनती बताता है, इसलिए आधिकारिक संख्या वही है जो API लौटाता है। भेजने से पहले अनुमान के लिए टेक्स्ट को [टोकन काउंटर](https://broadrouter.com/tools/token-counter/) या [अरबी टोकन काउंटर](https://broadrouter.com/tools/arabic-token-counter/) में पेस्ट करें, जो वही पिन की गई टोकनाइज़र फ़ाइलें लोड करते हैं। पूरा माप [अरबी और अंग्रेज़ी में प्रति शब्द टोकन](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) में है।

## आम ग़लतियाँ

-   एक मॉडल के टोकनाइज़र से गिनना और दूसरे पर बिल लेना। उसी मॉडल का टोकनाइज़र इस्तेमाल करें जिसे आप कॉल करते हैं।
-   चैट टेम्पलेट भूल जाना। Role markers और सिस्टम प्रॉम्प्ट ऐसे टोकन जोड़ते हैं जो प्लेन-टेक्स्ट गिनती में छूट जाते हैं।

## अक्सर पूछे जाने वाले सवाल

### क्या सभी LLM एक ही टोकनाइज़र इस्तेमाल करते हैं?

नहीं। हर मॉडल फ़ैमिली अपना टोकनाइज़र, अपनी vocabulary के साथ, ट्रेन करती है। हमारे टोकनाइज़र डेटासेट में अरबी के वही 39,037 शब्द Qwen3.8 27B पर 71,424 टोकन थे और GLM 5.3 पर 95,230।

### किसी मॉडल का टोकनाइज़र कहाँ मिलता है?

ओपन-वेट मॉडलों के लिए यह मॉडल के Hugging Face रिपो में tokenizer.json फ़ाइल है। टोकन ठीक-ठीक गिनने के लिए इसे Hugging Face tokenizers लाइब्रेरी से लोड करें।

### क्या टोकनाइज़र और टोकनाइज़ेशन एक ही हैं?

टोकनाइज़ेशन टेक्स्ट को टोकन में बाँटने की प्रक्रिया है। टोकनाइज़र वह फ़ाइल और कोड है जो किसी एक ख़ास मॉडल के लिए यह काम करता है।

## यह भी देखें

-   [टोकन (token)](https://broadrouter.com/hi/glossary/token/) (शब्द)
-   [बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)](https://broadrouter.com/hi/glossary/bpe/) (शब्द)
-   [वोकैबुलरी साइज़ (vocabulary size)](https://broadrouter.com/hi/glossary/vocabulary-size/) (शब्द)
-   [इनपुट और आउटपुट टोकन (input and output tokens)](https://broadrouter.com/hi/glossary/input-and-output-tokens/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [चैट टेम्पलेट (chat template)](https://broadrouter.com/hi/glossary/chat-template/) (शब्द)
-   [Unicode नॉर्मलाइज़ेशन (Unicode normalization)](https://broadrouter.com/hi/glossary/unicode-normalization/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) (लेख)
-   [LLM अनुरोध भेजने से पहले टोकन कैसे गिनें](https://broadrouter.com/hi/blog/count-tokens-before-sending/) (लेख)
-   [अरबी प्रॉम्प्ट इंजीनियरिंग: register, RTL, अंक और मिला-जुला टेक्स्ट](https://broadrouter.com/hi/blog/arabic-prompt-engineering/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-tokenizer&utm_content=page-cta) ·

**स्रोत**

-   [Hugging Face Transformers, टोकनाइज़ेशन एल्गोरिदम (जाँच: 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face मॉडल रिपो, Qwen/Qwen3.8-27B (जाँच: 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face मॉडल रिपो, deepseek-ai/DeepSeek-V4.1-Flash (जाँच: 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face मॉडल रिपो, google/gemma-4-26B-A4B-it (जाँच: 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
