---
title: "मॉडल डिस्टिलेशन क्या है? टीचर और स्टूडेंट LLM | BroadRouter"
description: "डिस्टिलेशन एक छोटे स्टूडेंट मॉडल को बड़े टीचर की नक़ल करना सिखाता है, ताकि चलाना सस्ता हो। सॉफ़्ट टारगेट कैसे काम करते हैं, डिस्टिल्ड रीज़निंग मॉडल कैसे बनते हैं।"
url: https://broadrouter.com/hi/glossary/distillation/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/distillation/) (2026-11-16 को अपडेट किया गया).

# डिस्टिलेशन (knowledge distillation)

अपडेट किया गया 2026-11-16

डिस्टिलेशन, या नॉलेज डिस्टिलेशन, ट्रेनिंग का वह तरीक़ा है जिसमें एक छोटा स्टूडेंट मॉडल बड़े टीचर मॉडल के आउटपुट, जैसे उसके प्रायिकता वितरण या जनरेट किए जवाब, दोहराना सीखता है, ताकि स्टूडेंट कम लागत पर चलते हुए टीचर की काफ़ी क्वालिटी बनाए रखे।

अन्य नाम: डिस्टिलेशन, नॉलेज डिस्टिलेशन, मॉडल डिस्टिलेशन, distillation kya hai, knowledge distillation, model distillation, distilled model, teacher-student training

बड़े मॉडल चलाना महँगा है। डिस्टिलेशन बड़े मॉडल की जानकारी छोटे मॉडल में ले आता है।

## यह कैसे काम करता है

Hinton, Vinyals और Dean ने 2015 में इसका आधुनिक रूप बताया। टीचर की आउटपुट प्रायिकताएँ स्टूडेंट के लिए “soft targets” (अनुवाद: सॉफ़्ट टारगेट) बन जाती हैं। सादा लेबल सिर्फ़ इतना कहता है कि “यह 7 है”। टीचर की प्रायिकताएँ यह भी बताती हैं कि यह थोड़ा-सा 1 जैसा दिखता है और 4 जैसा बिल्कुल नहीं, और यह अतिरिक्त संकेत स्टूडेंट को सीखने में मदद करता है।

इसे उभारने के लिए वे softmax का [टेम्परेचर](https://broadrouter.com/hi/glossary/temperature/) बढ़ाते हैं। पेपर के अनुसार ऊँचा T “produces a softer probability distribution over classes” (अनुवाद: क्लास पर ज़्यादा नरम प्रायिकता वितरण देता है)। उनके MNIST नतीजे:

| मॉडल | टेस्ट में ग़लतियाँ |
| --- | --- |
| बड़ा टीचर नेट | 67 |
| छोटा नेट, सिर्फ़ लेबल पर ट्रेन | 146 |
| वही छोटा नेट, T = 20 पर डिस्टिल्ड | 74 |

LLM में डिस्टिलेशन अक्सर प्रायिकताओं के बजाय जनरेट किए टेक्स्ट से होता है। टीचर जवाब लिखता है, और स्टूडेंट को उन पर [फ़ाइन-ट्यून](https://broadrouter.com/hi/glossary/fine-tuning/) किया जाता है। DeepSeek-R1 पेपर बताता है कि बड़े मॉडल के रीज़निंग पैटर्न छोटे मॉडल को राह दिखा सकते हैं। इसके मॉडल कार्ड में 1.5B से 70B पैरामीटर तक के छह डिस्टिल्ड मॉडल हैं, जो Qwen2.5 और Llama बेस पर बने हैं और DeepSeek-R1 के जनरेट किए रीज़निंग डेटा पर फ़ाइन-ट्यून किए गए हैं।

## यह क्यों मायने रखता है

-   **लागत और रफ़्तार.** छोटे मॉडल को कम GPU मेमोरी चाहिए और वह तेज़ी से जनरेट करता है, जो प्रति-टोकन कीमतों और लेटेंसी में दिखता है।
-   **सीमित हुनर.** स्टूडेंट वहाँ मज़बूत है जहाँ उसे ट्रेन किया गया, बाक़ी जगह कमज़ोर। टीचर के बेंचमार्क पर भरोसा करने के बजाय अपने कामों पर टेस्ट करें।
-   **एक के ऊपर एक.** सेल्फ़-होस्टेड सेटअप में डिस्टिलेशन [क्वांटाइज़ेशन](https://broadrouter.com/hi/glossary/quantization/) और [LoRA](https://broadrouter.com/hi/glossary/lora/) के साथ जुड़ता है।
-   **लाइसेंस.** टीचर का लाइसेंस या API की शर्तें तय करती हैं कि आप उसके आउटपुट पर ट्रेन कर सकते हैं या नहीं।

## BroadNet Inference पर

BroadNet का [API रेफ़रंस](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-distillation&utm_content=body#models) नहीं बताता कि उसका कोई मॉडल डिस्टिल्ड है या नहीं, इसलिए ऐसा मानकर न चलें। मॉडल के बीच कीमत का अंतर ज़रूर दिखाता है कि छोटे मॉडल क्यों मायने रखते हैं: BroadNet Gemma 4 VL 26B की कीमत प्रति 1M आउटपुट टोकन $0.22 है, जबकि GLM 5.3 की $3.46। छोटा मॉडल काफ़ी अच्छा है या नहीं, यह आपके अपने eval से तय होगा। [कोडिंग एजेंट के लिए सबसे अच्छा ओपन मॉडल](https://broadrouter.com/hi/blog/best-open-model-for-coding-agents/) वाली पोस्ट विकल्पों की तुलना काम के हिसाब से करती है।

## अक्सर पूछे जाने वाले सवाल

### डिस्टिलेशन और क्वांटाइज़ेशन में क्या फ़र्क़ है?

डिस्टिलेशन एक नया, छोटा मॉडल ट्रेन करता है। क्वांटाइज़ेशन वही मॉडल रखता है और उसके वेट कम प्रिसिज़न में स्टोर करता है। दोनों इन्फ़रेंस सस्ता करते हैं, और दोनों को साथ इस्तेमाल किया जा सकता है।

### क्या डिस्टिल्ड मॉडल टीचर जितना अच्छा होता है?

आम तौर पर हर काम पर नहीं, लेकिन जिन कामों के लिए उसे डिस्टिल किया गया, उन पर वह क़रीब पहुँच सकता है। Hinton, Vinyals और Dean के MNIST टेस्ट में डिस्टिल्ड छोटे नेट ने 74 ग़लतियाँ कीं, जबकि टीचर ने 67।

### क्या किसी दूसरे प्रोवाइडर का मॉडल डिस्टिल करने की इजाज़त है?

टीचर मॉडल के आउटपुट पर ट्रेन करने से पहले उसका लाइसेंस या API की शर्तें पढ़ें। इस मुद्दे पर वे अलग-अलग हैं, और कुछ इस पर रोक लगाती हैं।

## यह भी देखें

-   [फ़ाइन-ट्यूनिंग (fine-tuning)](https://broadrouter.com/hi/glossary/fine-tuning/) (शब्द)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/hi/glossary/lora/) (शब्द)
-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [टेम्परेचर (temperature)](https://broadrouter.com/hi/glossary/temperature/) (शब्द)
-   [ओपन-वेट मॉडल (open-weight model)](https://broadrouter.com/hi/glossary/open-weight-model/) (शब्द)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/) (गाइड)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)
-   [कोडिंग एजेंट के लिए बेस्ट ओपन मॉडल: टूल, कॉन्टेक्स्ट, लागत से चुनें](https://broadrouter.com/hi/blog/best-open-model-for-coding-agents/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-distillation&utm_content=page-cta) ·

**स्रोत**

-   [Hinton, Vinyals और Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), DeepSeek-R1 पेपर](https://arxiv.org/abs/2501.12948)
-   [Hugging Face पर DeepSeek-R1 मॉडल कार्ड (डिस्टिल्ड मॉडल)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
