BroadRouter
Mulakan

Penyulingan model (knowledge distillation)

Dikemas kini

Penyulingan, atau penyulingan pengetahuan (knowledge distillation), ialah kaedah latihan di mana model pelajar yang lebih kecil belajar menghasilkan semula output model guru yang lebih besar, seperti taburan kebarangkalian atau jawapan yang dijananya, supaya pelajar mengekalkan sebahagian besar kualiti guru dengan kos menjalankan yang lebih rendah.

Juga dikenali sebagai: penyulingan pengetahuan, distillation, knowledge distillation, model distillation, distilled model, model tersuling, teacher-student training

Model besar mahal untuk disediakan. Penyulingan memindahkan apa yang diketahui model besar ke dalam model kecil.

Cara ia berfungsi

Hinton, Vinyals dan Dean menerangkan bentuk modennya pada 2015. Kebarangkalian output guru menjadi “soft targets” (sasaran lembut) bagi pelajar. Label biasa hanya menyatakan “ini ialah 7”. Kebarangkalian daripada guru juga menyatakan bahawa ia sedikit menyerupai 1 dan langsung tidak menyerupai 4, dan isyarat tambahan itu membantu pelajar belajar.

Untuk mendedahkannya, mereka menaikkan temperature softmax. Kertas kajian itu menyatakan T yang lebih tinggi “produces a softer probability distribution over classes” (Terjemahan BroadRouter: “menghasilkan taburan kebarangkalian yang lebih lembut merentas kelas”). Keputusan MNIST mereka:

Model Ralat ujian
Rangkaian guru yang besar 67
Rangkaian kecil, dilatih dengan label sahaja 146
Rangkaian kecil yang sama, disuling pada T = 20 74

Dengan LLM, penyulingan sering menggunakan teks yang dijana dan bukannya kebarangkalian. Guru menulis jawapan, dan pelajar menjalani fine-tuning pada jawapan tersebut. Kertas kajian DeepSeek-R1 melaporkan bahawa corak penaakulan model besar boleh membimbing model yang lebih kecil. Kad modelnya menyenaraikan enam model tersuling daripada 1.5B hingga 70B parameter, dibina atas asas Qwen2.5 dan Llama dan diperhalusi dengan data penaakulan yang dijana oleh DeepSeek-R1.

Mengapa ia penting

  • Kos dan kelajuan. Model yang lebih kecil memerlukan kurang memori GPU dan menjana lebih pantas, yang tercermin dalam harga setiap token dan kependaman.
  • Kemahiran yang lebih sempit. Pelajar kuat dalam bidang yang dilatih dan lebih lemah di tempat lain. Ujinya pada tugas anda sendiri dan bukannya mempercayai penanda aras guru.
  • Penggabungan. Penyulingan digandingkan dengan kuantisasi dan LoRA dalam persediaan hos sendiri.
  • Pelesenan. Lesen atau terma API guru menentukan sama ada anda boleh melatih dengan outputnya.

Di BroadNet Inference

Rujukan API BroadNet tidak menyatakan sama ada mana-mana modelnya telah disuling, jadi jangan menganggapnya begitu. Perbezaan harga antara model memang menunjukkan mengapa model kecil penting: BroadNet Gemma 4 VL 26B disenaraikan pada $0.22 bagi setiap 1M token output berbanding $3.46 untuk GLM 5.3. Sama ada model yang lebih kecil cukup baik ialah soalan untuk eval anda sendiri. Artikel tentang model terbuka terbaik untuk ejen pengekodan membandingkan pilihan mengikut tugas.

Soalan lazim

Apakah beza penyulingan dengan kuantisasi?

Penyulingan melatih model baharu yang lebih kecil. Kuantisasi mengekalkan model yang sama dan menyimpan pemberatnya pada ketepatan lebih rendah. Kedua-duanya menjadikan inferens lebih murah, dan boleh digabungkan.

Adakah model tersuling sebaik model guru?

Biasanya tidak pada setiap tugas, tetapi ia boleh menghampirinya pada tugas yang menjadi sasaran penyulingan. Dalam ujian MNIST oleh Hinton, Vinyals dan Dean, rangkaian kecil tersuling membuat 74 ralat berbanding 67 ralat oleh guru.

Bolehkah saya menyuling model penyedia lain?

Baca lesen atau terma API model guru sebelum anda melatih dengan outputnya. Terma berbeza dalam hal ini, dan sesetengahnya menyekat amalan ini.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity