Model besar mahal untuk disediakan. Penyulingan memindahkan apa yang diketahui model besar ke dalam model kecil.
Cara ia berfungsi
Hinton, Vinyals dan Dean menerangkan bentuk modennya pada 2015. Kebarangkalian output guru menjadi “soft targets” (sasaran lembut) bagi pelajar. Label biasa hanya menyatakan “ini ialah 7”. Kebarangkalian daripada guru juga menyatakan bahawa ia sedikit menyerupai 1 dan langsung tidak menyerupai 4, dan isyarat tambahan itu membantu pelajar belajar.
Untuk mendedahkannya, mereka menaikkan temperature softmax. Kertas kajian itu menyatakan T yang lebih tinggi “produces a softer probability distribution over classes” (Terjemahan BroadRouter: “menghasilkan taburan kebarangkalian yang lebih lembut merentas kelas”). Keputusan MNIST mereka:
| Model | Ralat ujian |
|---|---|
| Rangkaian guru yang besar | 67 |
| Rangkaian kecil, dilatih dengan label sahaja | 146 |
| Rangkaian kecil yang sama, disuling pada T = 20 | 74 |
Dengan LLM, penyulingan sering menggunakan teks yang dijana dan bukannya kebarangkalian. Guru menulis jawapan, dan pelajar menjalani fine-tuning pada jawapan tersebut. Kertas kajian DeepSeek-R1 melaporkan bahawa corak penaakulan model besar boleh membimbing model yang lebih kecil. Kad modelnya menyenaraikan enam model tersuling daripada 1.5B hingga 70B parameter, dibina atas asas Qwen2.5 dan Llama dan diperhalusi dengan data penaakulan yang dijana oleh DeepSeek-R1.
Mengapa ia penting
- Kos dan kelajuan. Model yang lebih kecil memerlukan kurang memori GPU dan menjana lebih pantas, yang tercermin dalam harga setiap token dan kependaman.
- Kemahiran yang lebih sempit. Pelajar kuat dalam bidang yang dilatih dan lebih lemah di tempat lain. Ujinya pada tugas anda sendiri dan bukannya mempercayai penanda aras guru.
- Penggabungan. Penyulingan digandingkan dengan kuantisasi dan LoRA dalam persediaan hos sendiri.
- Pelesenan. Lesen atau terma API guru menentukan sama ada anda boleh melatih dengan outputnya.
Di BroadNet Inference
Rujukan API BroadNet tidak menyatakan sama ada mana-mana modelnya telah disuling, jadi jangan menganggapnya begitu. Perbezaan harga antara model memang menunjukkan mengapa model kecil penting: BroadNet Gemma 4 VL 26B disenaraikan pada $0.22 bagi setiap 1M token output berbanding $3.46 untuk GLM 5.3. Sama ada model yang lebih kecil cukup baik ialah soalan untuk eval anda sendiri. Artikel tentang model terbuka terbaik untuk ejen pengekodan membandingkan pilihan mengikut tugas.