إن كنت قد نزّلت نموذجًا لتشغيله على حاسوب محمول، فالأرجح أنه كان ملفًا ينتهي بـ .gguf.
كيف يعمل
تصف مواصفة ggml صيغة GGUF بأنها صيغة ثنائية لتخزين النماذج للاستدلال عبر GGML والمنفّذات المبنية عليها، صُممت للتحميل والحفظ السريعين. وقد حلّت محل الصيغ الأقدم GGML وGGMF وGGJT. ومن أهدافها المعلنة:
- ملف واحد. يمكن مشاركة النموذج وتحميله دون ملفات إضافية.
- التوافق مع mmap. تستطيع بيئة التشغيل ربط الأوزان بالذاكرة بدل نسخها.
- قابلية التوسع. يمكن إضافة بيانات وصفية جديدة دون كسر النماذج الأقدم.
- معلومات كاملة. كل ما يلزم لتحميل النموذج موجود في الملف.
يتكون ملف GGUF من ترويسة (رقم سحري، وإصدار الصيغة، وعدد الموتّرات والبيانات الوصفية)، ثم أزواج مفتاح-قيمة وصفية ذات أنواع محددة، ثم جدول بأسماء الموتّرات وأشكالها وأنواعها وإزاحاتها، ثم حشو حتى حدّ محاذاة (32 بايت افتراضيًا)، وأخيرًا بيانات الموتّرات.
وتتبع أسماء الملفات اصطلاحًا. فمثال المواصفة Mixtral-8x7B-v0.1-KQ2.gguf ينقسم إلى الاسم الأساسي، ووسم الحجم (ثمانية خبراء بحجم 7B، راجع مزيج الخبراء)، والإصدار، والترميز.
ومعظم ملفات GGUF مكمَّمة. ويسرد جدول Hugging Face الأنواع الشائعة:
| النوع | بتات لكل وزن | ملاحظات |
|---|---|---|
| Q8_0 | 8 | تقريب قديم إلى الأقرب، كتل من 32 وزنًا |
| Q6_K | 6.5625 | كتل عليا k-quant |
| Q5_K | 5.5 | كتل عليا k-quant |
| Q4_K | 4.5 | كتل عليا k-quant |
| IQ4_XS | 4.25 | يستخدم مصفوفة أهمية |
| Q2_K | 2.625 | كتل عليا k-quant |
لماذا يهم
- الاستخدام المحلي والطرفي. تذكر Hugging Face أدوات llama.cpp وLM Studio وGPT4All وOllama بوصفها أدوات تستخدم GGUF. وهي الطريق المعتاد لتشغيل نموذج مفتوح الأوزان على معالج CPU أو جهاز Mac أو وحدة GPU استهلاكية واحدة.
- المُرمِّز ينتقل مع الأوزان. لأن البيانات الوصفية داخل الملف، فإن إعدادًا خاطئًا أو مفقودًا لقالب المحادثة أو المُرمِّز أثناء التحويل قد يغيّر جودة المخرجات.
- الجودة تعتمد على نوع التكميم. ملف Q2 وملف Q8 للنموذج نفسه ليسا النموذج نفسه عمليًا. قارن المتماثل بالمتماثل.
- يختلف عن صيغ الخدمة على GPU. محركات الخوادم مثل vLLM تدرج GGUF ضمن الصيغ المدعومة، لكن الخدمة الإنتاجية على GPU تستخدم في الغالب صيغًا مثل AWQ أو FP8.
في BroadNet Inference
تخدم واجهة BroadNet النماذج عبر HTTP؛ فهي لا توزّع ملفات GGUF، ولا تحمّل أنت الأوزان بنفسك أبدًا. ويذكر كتالوج BroadNet أنها شغّلت في مختبرها Qwen3.8 27B بصيغة GGUF Q4_K_M مع مُسقِط رؤية (vision projector) ومسوّدة للتنبؤ بعدة رموز (multi-token prediction) على llama.cpp، إلى جانب إصدار AWQ INT4 على vLLM لمنصة AMD ROCm. ولا يذكر أي صيغة تخدم الواجهة العامة. وإن كنت توازن بين إعداد GGUF محلي وواجهة API، فإن دليل تكلفة الاستضافة الذاتية مقابل API والنماذج مفتوحة الأوزان مقابل المغلقة يغطيان الموازنات.