BroadRouter

GGUF

اپ ڈیٹ

GGUF لینگویج ماڈلز محفوظ کرنے کا ایک بائنری فائل فارمیٹ ہے، جو llama.cpp جیسے GGML پر مبنی رن ٹائمز پر انفرینس کے لیے بنا ہے۔ ایک GGUF فائل میں ویٹس، اکثر کوانٹائزڈ، اور ماڈل لوڈ کرنے کا ضروری میٹا ڈیٹا ہوتا ہے، جیسے ٹوکنائزر اور آرکیٹیکچر کی تفصیلات، اور اسے تیز لوڈنگ کے لیے میموری میپ کیا جا سکتا ہے۔

دوسرے نام: GGUF، GGUF فائل، gguf kya hai، gguf file kya hoti hai، GGUF file، GGUF format، llama.cpp format

اگر آپ نے کبھی لیپ ٹاپ پر چلانے کے لیے کوئی ماڈل ڈاؤن لوڈ کیا ہے تو وہ غالباً .gguf پر ختم ہونے والی فائل تھی۔

یہ کیسے کام کرتا ہے

ggml کی تفصیلات GGUF کو GGML اور GGML پر مبنی ایگزیکیوٹرز پر انفرینس کے لیے ماڈلز محفوظ کرنے والا بائنری فارمیٹ بتاتی ہیں، جو تیز لوڈنگ اور سیونگ کے لیے بنا ہے۔ اس نے پرانے GGML، GGMF اور GGJT فارمیٹس کی جگہ لی۔ اس کے اعلان کردہ اہداف میں یہ شامل ہیں:

  • ایک فائل۔ ماڈل کو کسی اضافی فائل کے بغیر شیئر اور لوڈ کیا جا سکتا ہے۔
  • mmap کے ساتھ ہم آہنگ۔ رن ٹائم ویٹس کو کاپی کرنے کے بجائے میموری میپ کر سکتا ہے۔
  • قابلِ توسیع۔ پرانے ماڈلز توڑے بغیر نیا میٹا ڈیٹا شامل کیا جا سکتا ہے۔
  • مکمل معلومات۔ ماڈل لوڈ کرنے کے لیے جو کچھ چاہیے، سب فائل میں ہے۔

GGUF فائل میں ایک ہیڈر (میجک نمبر، فارمیٹ ورژن، ٹینسرز اور میٹا ڈیٹا کی تعداد)، قسم والے میٹا ڈیٹا key-value جوڑے، ٹینسرز کے نام، شکلیں، اقسام اور آفسیٹس کا جدول، ایک الائنمنٹ حد تک پیڈنگ (ڈیفالٹ 32 بائٹس)، اور پھر ٹینسر ڈیٹا ہوتا ہے۔

فائلوں کے نام ایک روایت کے مطابق ہوتے ہیں۔ تفصیلات کی مثال Mixtral-8x7B-v0.1-KQ2.gguf بیس نام، سائز لیبل (7B کے آٹھ ایکسپرٹس، دیکھیں مکسچر آف ایکسپرٹس)، ورژن اور انکوڈنگ میں تقسیم ہوتی ہے۔

زیادہ تر GGUF فائلیں کوانٹائزڈ ہوتی ہیں۔ Hugging Face کا جدول عام اقسام درج کرتا ہے:

قسم بٹس فی ویٹ نوٹس
Q8_0 8 پرانا round-to-nearest، 32 ویٹ کے بلاکس
Q6_K 6.5625 k-quant سپر بلاکس
Q5_K 5.5 k-quant سپر بلاکس
Q4_K 4.5 k-quant سپر بلاکس
IQ4_XS 4.25 امپورٹنس میٹرکس استعمال کرتا ہے
Q2_K 2.625 k-quant سپر بلاکس

یہ کیوں اہم ہے

  • مقامی اور ایج استعمال۔ Hugging Face llama.cpp، LM Studio، GPT4All اور Ollama کو GGUF استعمال کرنے والے ٹولز بتاتا ہے۔ CPU، Mac یا ایک کنزیومر GPU پر اوپن ویٹ ماڈل چلانے کا یہ عام راستہ ہے۔
  • ٹوکنائزر ویٹس کے ساتھ چلتا ہے۔ میٹا ڈیٹا فائل ہی میں ہونے کی وجہ سے، تبدیلی (conversion) میں غلط یا غائب چیٹ ٹیمپلیٹ یا ٹوکنائزر سیٹنگ آؤٹ پٹ کا معیار بدل سکتی ہے۔
  • معیار کوانٹ کی قسم پر منحصر ہے۔ ایک ہی ماڈل کی Q2 فائل اور Q8 فائل عملاً ایک جیسا ماڈل نہیں ہیں۔ برابر والوں کا ہی موازنہ کریں۔
  • GPU سرونگ فارمیٹس سے مختلف۔ vLLM جیسے سرور انجن GGUF کو سپورٹڈ فارمیٹس میں گنتے ہیں، لیکن پروڈکشن GPU سرونگ میں زیادہ تر AWQ یا FP8 جیسے فارمیٹس استعمال ہوتے ہیں۔

BroadNet Inference پر

BroadNet کا API ماڈلز HTTP پر سرو کرتا ہے؛ یہ GGUF فائلیں نہیں دیتا، اور آپ کو کبھی خود ویٹس لوڈ نہیں کرنے پڑتے۔ BroadNet کا کیٹلاگ بتاتا ہے کہ اس نے اپنی لیب میں Qwen3.8 27B کو llama.cpp پر GGUF Q4_K_M کی شکل میں، وژن پروجیکٹر اور ملٹی ٹوکن پریڈکشن ڈرافٹر کے ساتھ چلایا ہے، اور ساتھ ہی AMD ROCm کے لیے vLLM پر AWQ INT4 بلڈ بھی۔ یہ نہیں بتایا گیا کہ عوامی API کون سا فارمیٹ سرو کرتا ہے۔ اگر آپ مقامی GGUF سیٹ اپ اور API کے درمیان فیصلہ کر رہے ہیں تو سیلف ہوسٹنگ بمقابلہ API لاگت گائیڈ اور اوپن ویٹ بمقابلہ کلوزڈ ماڈلز فوائد اور نقصانات بتاتے ہیں۔

عام سوالات

Q4_K جیسے نام کا کیا مطلب ہے؟

یہ کوانٹائزیشن کی قسم ہے۔ Hugging Face کا جدول Q4_K کو 4 بٹ کوانٹائزیشن بتاتا ہے، جس میں 32 ویٹس کے 8 بلاکس والے سپر بلاکس ہوتے ہیں، تقریباً 4.5 بٹس فی ویٹ۔ کم بٹس کم میموری لیتے ہیں اور عموماً معیار زیادہ گھٹاتے ہیں۔

کیا میں GGUF ماڈل کو OpenAI API فارمیٹ سے کال کر سکتا ہوں؟

فائل کو براہِ راست نہیں۔ آپ اسے llama.cpp کے سرور، Ollama یا LM Studio جیسے رن ٹائم میں لوڈ کرتے ہیں، اور وہی رن ٹائم اسے سرو کرتا ہے۔ وہ کون سا API دیتا ہے، اس کے لیے رن ٹائم کی دستاویزات دیکھیں۔

کیا GGUF اور safetensors ایک ہی ہیں؟

نہیں۔ Hugging Face safetensors کو صرف ٹینسرز والا فارمیٹ بتاتا ہے، جبکہ GGUF ایک ہی فائل میں ٹینسرز اور میٹا ڈیٹا کا ایک معیاری مجموعہ، دونوں رکھتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں