بڑے ماڈلز چلانا مہنگا ہے۔ ڈسٹلیشن بڑے ماڈل کا علم چھوٹے ماڈل میں منتقل کرتی ہے۔
یہ کیسے کام کرتی ہے
Hinton، Vinyals اور Dean نے 2015 میں اس کی جدید شکل بیان کی۔ ٹیچر کی آؤٹ پٹ احتمالات اسٹوڈنٹ کے لیے “soft targets” (ترجمہ: نرم اہداف) بن جاتی ہیں۔ سادہ لیبل صرف اتنا کہتا ہے کہ “یہ 7 ہے”۔ ٹیچر کی احتمالات یہ بھی بتاتی ہیں کہ یہ تھوڑا سا 1 جیسا لگتا ہے اور 4 جیسا بالکل نہیں، اور یہ اضافی اشارہ اسٹوڈنٹ کو سیکھنے میں مدد دیتا ہے۔
اسے نمایاں کرنے کے لیے وہ softmax کا ٹمپریچر بڑھاتے ہیں۔ مقالے کے مطابق اونچا T “produces a softer probability distribution over classes” (ترجمہ: کلاسز پر زیادہ نرم احتمالی تقسیم دیتا ہے)۔ ان کے MNIST نتائج:
| ماڈل | ٹیسٹ میں غلطیاں |
|---|---|
| بڑا ٹیچر نیٹ | 67 |
| چھوٹا نیٹ، صرف لیبلز پر تربیت | 146 |
| وہی چھوٹا نیٹ، T = 20 پر ڈسٹلڈ | 74 |
LLMs میں ڈسٹلیشن اکثر احتمالات کے بجائے بنائے گئے متن سے ہوتی ہے۔ ٹیچر جوابات لکھتا ہے، اور اسٹوڈنٹ کو ان پر فائن ٹیون کیا جاتا ہے۔ DeepSeek-R1 مقالہ بتاتا ہے کہ بڑے ماڈلز کے ریزننگ پیٹرنز چھوٹے ماڈلز کی رہنمائی کر سکتے ہیں۔ اس کے ماڈل کارڈ میں 1.5B سے 70B پیرامیٹرز تک کے چھ ڈسٹلڈ ماڈلز ہیں، جو Qwen2.5 اور Llama بیسز پر بنے ہیں اور DeepSeek-R1 کے بنائے گئے ریزننگ ڈیٹا پر فائن ٹیون کیے گئے ہیں۔
یہ کیوں اہم ہے
- لاگت اور رفتار۔ چھوٹے ماڈل کو کم GPU میموری چاہیے اور وہ تیزی سے جنریٹ کرتا ہے، جو فی ٹوکن قیمتوں اور تاخیر میں نظر آتا ہے۔
- محدود مہارت۔ اسٹوڈنٹ وہاں مضبوط ہے جہاں اسے تربیت دی گئی، باقی جگہوں پر کمزور۔ ٹیچر کے بینچ مارک پر بھروسہ کرنے کے بجائے اپنے کاموں پر ٹیسٹ کریں۔
- تہہ در تہہ۔ سیلف ہوسٹڈ سیٹ اپس میں ڈسٹلیشن کوانٹائزیشن اور LoRA کے ساتھ جڑتی ہے۔
- لائسنسنگ۔ ٹیچر کا لائسنس یا API کی شرائط طے کرتی ہیں کہ آپ اس کے آؤٹ پٹ پر تربیت کر سکتے ہیں یا نہیں۔
BroadNet Inference پر
BroadNet کا API حوالہ نہیں بتاتا کہ اس کا کوئی ماڈل ڈسٹلڈ ہے یا نہیں، اس لیے یہ فرض نہ کریں۔ ماڈلز کے درمیان قیمت کا فرق ضرور دکھاتا ہے کہ چھوٹے ماڈلز کیوں اہم ہیں: BroadNet Gemma 4 VL 26B کی قیمت فی 1M آؤٹ پٹ ٹوکن $0.22 ہے، جبکہ GLM 5.3 کی $3.46۔ چھوٹا ماڈل کافی اچھا ہے یا نہیں، یہ آپ کی اپنی eval سے طے ہو گا۔ کوڈنگ ایجنٹس کے لیے بہترین اوپن ماڈل والی پوسٹ آپشنز کا کام کے لحاظ سے موازنہ کرتی ہے۔