---
title: "GGUF क्या है? llama.cpp का मॉडल फ़ाइल फ़ॉर्मैट समझें"
description: "GGUF एक-फ़ाइल वाला मॉडल फ़ॉर्मैट है जिसे llama.cpp, Ollama और LM Studio जैसे टूल इस्तेमाल करते हैं। GGUF फ़ाइल में क्या होता है और Q4_K जैसे नाम कैसे पढ़ें।"
url: https://broadrouter.com/hi/glossary/gguf/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/gguf/) (2026-11-15 को अपडेट किया गया).

# GGUF

अपडेट किया गया 2026-11-15

GGUF लैंग्वेज मॉडल स्टोर करने का एक बाइनरी फ़ाइल फ़ॉर्मैट है, जो llama.cpp जैसे GGML-आधारित रनटाइम पर इन्फ़रेंस के लिए बना है। एक GGUF फ़ाइल में वेट, अक्सर क्वांटाइज़्ड, और मॉडल लोड करने का ज़रूरी मेटाडेटा होता है, जैसे टोकनाइज़र और आर्किटेक्चर की जानकारी, और इसे तेज़ लोडिंग के लिए मेमोरी-मैप किया जा सकता है।

अन्य नाम: GGUF, GGUF फ़ाइल, gguf kya hai, gguf file kya hoti hai, GGUF file, GGUF format, llama.cpp format

अगर आपने कभी लैपटॉप पर चलाने के लिए कोई मॉडल डाउनलोड किया है, तो वह शायद `.gguf` पर ख़त्म होने वाली फ़ाइल थी।

## यह कैसे काम करता है

ggml स्पेसिफ़िकेशन GGUF को GGML और GGML-आधारित एक्ज़ीक्यूटर पर इन्फ़रेंस के लिए मॉडल स्टोर करने वाला बाइनरी फ़ॉर्मैट बताता है, जो तेज़ लोडिंग और सेविंग के लिए बना है। इसने पुराने GGML, GGMF और GGJT फ़ॉर्मैट की जगह ली। इसके घोषित लक्ष्यों में ये शामिल हैं:

-   **एक फ़ाइल.** मॉडल को बिना किसी अतिरिक्त फ़ाइल के शेयर और लोड किया जा सकता है।
-   **mmap के साथ कम्पैटिबल.** रनटाइम वेट को कॉपी करने के बजाय मेमोरी-मैप कर सकता है।
-   **बढ़ाने लायक़.** पुराने मॉडल तोड़े बिना नया मेटाडेटा जोड़ा जा सकता है।
-   **पूरी जानकारी.** मॉडल लोड करने के लिए जो कुछ चाहिए, सब फ़ाइल में है।

GGUF फ़ाइल में एक हेडर (मैजिक नंबर, फ़ॉर्मैट वर्ज़न, टेंसर और मेटाडेटा की गिनती), टाइप वाले मेटाडेटा key-value जोड़े, टेंसर के नाम, आकार, टाइप और ऑफ़सेट की तालिका, एक अलाइनमेंट सीमा तक पैडिंग (डिफ़ॉल्ट 32 बाइट), और फिर टेंसर डेटा होता है।

फ़ाइल के नाम एक परिपाटी मानते हैं। स्पेसिफ़िकेशन का उदाहरण `Mixtral-8x7B-v0.1-KQ2.gguf` बेस नाम, साइज़ लेबल (7B के आठ एक्सपर्ट, देखें [मिक्सचर ऑफ़ एक्सपर्ट्स](https://broadrouter.com/hi/glossary/mixture-of-experts/)), वर्ज़न और एन्कोडिंग में टूटता है।

ज़्यादातर GGUF फ़ाइलें [क्वांटाइज़्ड](https://broadrouter.com/hi/glossary/quantization/) होती हैं। Hugging Face की तालिका आम टाइप बताती है:

| टाइप | बिट प्रति वेट | नोट |
| --- | --- | --- |
| Q8\_0 | 8 | पुराना round-to-nearest, 32-वेट ब्लॉक |
| Q6\_K | 6.5625 | k-quant सुपर-ब्लॉक |
| Q5\_K | 5.5 | k-quant सुपर-ब्लॉक |
| Q4\_K | 4.5 | k-quant सुपर-ब्लॉक |
| IQ4\_XS | 4.25 | इम्पॉर्टेंस मैट्रिक्स इस्तेमाल करता है |
| Q2\_K | 2.625 | k-quant सुपर-ब्लॉक |

## यह क्यों मायने रखता है

-   **लोकल और एज इस्तेमाल.** Hugging Face llama.cpp, LM Studio, GPT4All और Ollama को GGUF इस्तेमाल करने वाले टूल बताता है। CPU, Mac या एक कंज़्यूमर GPU पर [ओपन-वेट मॉडल](https://broadrouter.com/hi/glossary/open-weight-model/) चलाने का यह आम रास्ता है।
-   **टोकनाइज़र वेट के साथ चलता है.** मेटाडेटा फ़ाइल में ही होने के कारण, कन्वर्ज़न में ग़लत या ग़ायब [चैट टेम्पलेट](https://broadrouter.com/hi/glossary/chat-template/) या [टोकनाइज़र](https://broadrouter.com/hi/glossary/tokenizer/) सेटिंग आउटपुट की क्वालिटी बदल सकती है।
-   **क्वालिटी क्वांट टाइप पर निर्भर है.** एक ही मॉडल की Q2 फ़ाइल और Q8 फ़ाइल व्यवहार में एक जैसा मॉडल नहीं हैं। बराबरी वालों की ही तुलना करें।
-   **GPU सर्विंग फ़ॉर्मैट से अलग.** [vLLM](https://broadrouter.com/hi/glossary/vllm/) जैसे सर्वर इंजन GGUF को सपोर्टेड फ़ॉर्मैट में गिनते हैं, लेकिन प्रोडक्शन GPU सर्विंग में ज़्यादातर [AWQ](https://broadrouter.com/hi/glossary/awq/) या FP8 जैसे फ़ॉर्मैट इस्तेमाल होते हैं।

## BroadNet Inference पर

BroadNet का API मॉडल HTTP पर सर्व करता है; यह GGUF फ़ाइलें नहीं देता, और आपको कभी ख़ुद वेट लोड नहीं करने पड़ते। BroadNet का कैटलॉग बताता है कि उसने अपनी लैब में [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) को llama.cpp पर GGUF Q4\_K\_M के रूप में, विज़न प्रोजेक्टर और मल्टी-टोकन-प्रेडिक्शन ड्राफ़्टर के साथ चलाया है, और साथ में AMD ROCm के लिए vLLM पर AWQ INT4 बिल्ड भी। यह नहीं बताया गया कि सार्वजनिक API कौन-सा फ़ॉर्मैट सर्व करता है। अगर आप लोकल GGUF सेटअप और API के बीच तौल रहे हैं, तो [सेल्फ़-होस्टिंग बनाम API लागत गाइड](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) और [ओपन-वेट बनाम क्लोज़्ड मॉडल](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) फ़ायदे-नुक़सान बताते हैं।

## अक्सर पूछे जाने वाले सवाल

### Q4\_K जैसे नाम का क्या मतलब है?

यह क्वांटाइज़ेशन टाइप है। Hugging Face की तालिका Q4\_K को 4-बिट क्वांटाइज़ेशन बताती है, जिसमें 32 वेट के 8 ब्लॉक वाले सुपर-ब्लॉक होते हैं, लगभग 4.5 बिट प्रति वेट। कम बिट कम मेमोरी लेते हैं और आम तौर पर क्वालिटी ज़्यादा घटाते हैं।

### क्या मैं GGUF मॉडल को OpenAI API फ़ॉर्मैट से कॉल कर सकता हूँ?

फ़ाइल को सीधे नहीं। आप उसे llama.cpp के सर्वर, Ollama या LM Studio जैसे रनटाइम में लोड करते हैं, और वही रनटाइम उसे सर्व करता है। वह कौन-सा API देता है, इसके लिए रनटाइम के डॉक्स देखें।

### क्या GGUF और safetensors एक ही हैं?

नहीं। Hugging Face safetensors को सिर्फ़ टेंसर वाला फ़ॉर्मैट बताता है, जबकि GGUF एक ही फ़ाइल में टेंसर और मेटाडेटा का एक मानक सेट, दोनों रखता है।

## यह भी देखें

-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/hi/glossary/awq/) (शब्द)
-   [INT4 (4-bit क्वांटाइज़ेशन)](https://broadrouter.com/hi/glossary/int4/) (शब्द)
-   [ओपन-वेट मॉडल (open-weight model)](https://broadrouter.com/hi/glossary/open-weight-model/) (शब्द)
-   [टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/) (शब्द)
-   [vLLM](https://broadrouter.com/hi/glossary/vllm/) (शब्द)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-gguf&utm_content=page-cta) ·

**स्रोत**

-   [ggml प्रोजेक्ट, GGUF स्पेसिफ़िकेशन, docs/gguf.md (2026-11-15 को जाँचा गया)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub डॉक्स, GGUF (क्वांटाइज़ेशन टाइप की तालिका) (2026-11-15 को जाँचा गया)](https://huggingface.co/docs/hub/gguf)
-   [BroadNet मॉडल कैटलॉग: लैब में सर्विंग कॉन्फ़िगरेशन (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models)
