النماذج الكبيرة مكلفة في التشغيل. والتقطير ينقل ما يعرفه نموذج كبير إلى نموذج صغير.
كيف يعمل
وصف Hinton وVinyals وDean الصيغة الحديثة عام 2015. تصبح احتمالات مخرجات المعلّم “أهدافًا ناعمة” (soft targets) للطالب. الوسم العادي يقول فقط “هذا هو الرقم 7”. أما احتمالات المعلّم فتقول أيضًا إنه يشبه الرقم 1 قليلًا ولا يشبه الرقم 4 إطلاقًا، وهذه الإشارة الإضافية تساعد الطالب على التعلم.
ولإظهارها، يرفعون درجة الحرارة في دالة softmax. وتشير الورقة إلى أن قيمة T الأعلى “produces a softer probability distribution over classes” (ترجمة: تنتج توزيعًا احتماليًا أنعم على الفئات). نتائجهم على MNIST:
| النموذج | أخطاء الاختبار |
|---|---|
| شبكة المعلّم الكبيرة | 67 |
| شبكة صغيرة، مدرّبة على الوسوم فقط | 146 |
| الشبكة الصغيرة نفسها، مقطّرة عند T = 20 | 74 |
ومع نماذج اللغة الكبيرة، كثيرًا ما يستخدم التقطير نصًا مولَّدًا بدل الاحتمالات. يكتب المعلّم إجابات، ثم يخضع الطالب للضبط الدقيق عليها. وتذكر ورقة DeepSeek-R1 أن أنماط الاستدلال لدى النماذج الكبيرة يمكن أن توجّه النماذج الأصغر. وتسرد بطاقة النموذج ستة نماذج مقطّرة من 1.5B إلى 70B معامل، مبنية على قواعد Qwen2.5 وLlama ومضبوطة على بيانات استدلال ولّدها DeepSeek-R1.
لماذا يهم
- التكلفة والسرعة. النموذج الأصغر يحتاج إلى ذاكرة GPU أقل ويولّد أسرع، وهذا يظهر في الأسعار لكل رمز وفي زمن الاستجابة.
- مهارة أضيق. الطالب قوي حيث دُرّب وأضعف في غير ذلك. اختبره على مهامك بدل الوثوق بنتائج معيار قياس للمعلّم.
- التراكب. يقترن التقطير مع التكميم وLoRA في البيئات المستضافة ذاتيًا.
- الترخيص. رخصة المعلّم أو شروط واجهته هي التي تحدد إن كان يحق لك التدريب على مخرجاته.
في BroadNet Inference
لا يذكر مرجع API لدى BroadNet ما إذا كان أي من نماذجها مقطّرًا، فلا تفترض ذلك. لكن فروق الأسعار بين النماذج توضح أهمية النماذج الصغيرة: يُدرَج BroadNet Gemma 4 VL 26B بسعر $0.22 لكل مليون رمز إخراج مقابل $3.46 لـ GLM 5.3. أما هل النموذج الأصغر جيد بما يكفي، فذلك سؤال يجيب عنه تقييمك الخاص. ويقارن مقال أفضل نموذج مفتوح لوكلاء البرمجة بين الخيارات حسب المهمة.