BroadRouter

GGUF

آخر تحديث

GGUF صيغة ملفات ثنائية لتخزين نماذج اللغة بغرض الاستدلال عبر بيئات تشغيل مبنية على GGML مثل llama.cpp. يحوي ملف GGUF واحد الأوزان، المكمَّمة غالبًا، مع البيانات الوصفية اللازمة لتحميل النموذج، ومنها تفاصيل المُرمِّز والبنية، ويمكن ربطه بالذاكرة لتحميل سريع.

يُسمّى أيضًا: GGUF، ملف GGUF، صيغة GGUF، صيغة llama.cpp، GGUF file، GGUF format، llama.cpp format

إن كنت قد نزّلت نموذجًا لتشغيله على حاسوب محمول، فالأرجح أنه كان ملفًا ينتهي بـ .gguf.

كيف يعمل

تصف مواصفة ggml صيغة GGUF بأنها صيغة ثنائية لتخزين النماذج للاستدلال عبر GGML والمنفّذات المبنية عليها، صُممت للتحميل والحفظ السريعين. وقد حلّت محل الصيغ الأقدم GGML وGGMF وGGJT. ومن أهدافها المعلنة:

  • ملف واحد. يمكن مشاركة النموذج وتحميله دون ملفات إضافية.
  • التوافق مع mmap. تستطيع بيئة التشغيل ربط الأوزان بالذاكرة بدل نسخها.
  • قابلية التوسع. يمكن إضافة بيانات وصفية جديدة دون كسر النماذج الأقدم.
  • معلومات كاملة. كل ما يلزم لتحميل النموذج موجود في الملف.

يتكون ملف GGUF من ترويسة (رقم سحري، وإصدار الصيغة، وعدد الموتّرات والبيانات الوصفية)، ثم أزواج مفتاح-قيمة وصفية ذات أنواع محددة، ثم جدول بأسماء الموتّرات وأشكالها وأنواعها وإزاحاتها، ثم حشو حتى حدّ محاذاة (32 بايت افتراضيًا)، وأخيرًا بيانات الموتّرات.

وتتبع أسماء الملفات اصطلاحًا. فمثال المواصفة Mixtral-8x7B-v0.1-KQ2.gguf ينقسم إلى الاسم الأساسي، ووسم الحجم (ثمانية خبراء بحجم 7B، راجع مزيج الخبراء)، والإصدار، والترميز.

ومعظم ملفات GGUF مكمَّمة. ويسرد جدول Hugging Face الأنواع الشائعة:

النوع بتات لكل وزن ملاحظات
Q8_0 8 تقريب قديم إلى الأقرب، كتل من 32 وزنًا
Q6_K 6.5625 كتل عليا k-quant
Q5_K 5.5 كتل عليا k-quant
Q4_K 4.5 كتل عليا k-quant
IQ4_XS 4.25 يستخدم مصفوفة أهمية
Q2_K 2.625 كتل عليا k-quant

لماذا يهم

  • الاستخدام المحلي والطرفي. تذكر Hugging Face أدوات llama.cpp وLM Studio وGPT4All وOllama بوصفها أدوات تستخدم GGUF. وهي الطريق المعتاد لتشغيل نموذج مفتوح الأوزان على معالج CPU أو جهاز Mac أو وحدة GPU استهلاكية واحدة.
  • المُرمِّز ينتقل مع الأوزان. لأن البيانات الوصفية داخل الملف، فإن إعدادًا خاطئًا أو مفقودًا لقالب المحادثة أو المُرمِّز أثناء التحويل قد يغيّر جودة المخرجات.
  • الجودة تعتمد على نوع التكميم. ملف Q2 وملف Q8 للنموذج نفسه ليسا النموذج نفسه عمليًا. قارن المتماثل بالمتماثل.
  • يختلف عن صيغ الخدمة على GPU. محركات الخوادم مثل vLLM تدرج GGUF ضمن الصيغ المدعومة، لكن الخدمة الإنتاجية على GPU تستخدم في الغالب صيغًا مثل AWQ أو FP8.

في BroadNet Inference

تخدم واجهة BroadNet النماذج عبر HTTP؛ فهي لا توزّع ملفات GGUF، ولا تحمّل أنت الأوزان بنفسك أبدًا. ويذكر كتالوج BroadNet أنها شغّلت في مختبرها Qwen3.8 27B بصيغة GGUF Q4_K_M مع مُسقِط رؤية (vision projector) ومسوّدة للتنبؤ بعدة رموز (multi-token prediction) على llama.cpp، إلى جانب إصدار AWQ INT4 على vLLM لمنصة AMD ROCm. ولا يذكر أي صيغة تخدم الواجهة العامة. وإن كنت توازن بين إعداد GGUF محلي وواجهة API، فإن دليل تكلفة الاستضافة الذاتية مقابل API والنماذج مفتوحة الأوزان مقابل المغلقة يغطيان الموازنات.

أسئلة شائعة

ماذا يعني اسم مثل Q4_K؟

إنه نوع التكميم. يصف جدول Hugging Face النوع Q4_K بأنه تكميم 4 بت في كتل عليا من 8 كتل، في كل منها 32 وزنًا، أي نحو 4.5 بت لكل وزن. البتات الأقل تستهلك ذاكرة أقل وتكلّف عادةً جودة أكثر.

هل يمكنني استدعاء نموذج GGUF بصيغة OpenAI API؟

ليس الملف نفسه. تحمّله في بيئة تشغيل مثل خادم llama.cpp أو Ollama أو LM Studio، وتلك البيئة هي التي تخدمه. راجع وثائقها لمعرفة الواجهة التي تتيحها.

هل GGUF هو نفسه safetensors؟

لا. تصف Hugging Face صيغة safetensors بأنها صيغة للموتّرات فقط، بينما يرمّز GGUF الموتّرات ومجموعة موحّدة من البيانات الوصفية معًا في ملف واحد.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity