BroadRouter
Mulai

Distilasi (knowledge distillation)

Diperbarui

Distilasi, atau knowledge distillation, adalah metode pelatihan di mana model murid yang lebih kecil belajar mereproduksi output model guru yang lebih besar, seperti distribusi probabilitas atau jawaban yang dihasilkannya, sehingga model murid mempertahankan sebagian besar kualitas guru dengan biaya menjalankan yang lebih rendah.

Disebut juga: distilasi, distilasi model, distilasi pengetahuan, model hasil distilasi, pelatihan guru-murid, knowledge distillation, model distillation, distilled model, teacher-student training

Model besar mahal untuk dilayani. Distilasi memindahkan apa yang diketahui model besar ke model kecil.

Cara kerjanya

Hinton, Vinyals, dan Dean menjelaskan bentuk modernnya pada 2015. Probabilitas output guru menjadi “soft targets” (terjemahan: target lunak) bagi murid. Label biasa hanya mengatakan “ini angka 7”. Probabilitas dari guru juga mengatakan bahwa gambar itu sedikit mirip angka 1 dan sama sekali tidak mirip angka 4, dan sinyal tambahan itu membantu murid belajar.

Untuk memunculkan sinyal itu, mereka menaikkan temperature softmax. Makalah itu mencatat bahwa T yang lebih tinggi “produces a softer probability distribution over classes” (terjemahan: menghasilkan distribusi probabilitas yang lebih lunak di antara kelas). Hasil MNIST mereka:

Model Kesalahan uji
Jaringan guru besar 67
Jaringan kecil, dilatih hanya dengan label 146
Jaringan kecil yang sama, didistilasi pada T = 20 74

Pada LLM, distilasi sering memakai teks yang dihasilkan, bukan probabilitas. Guru menulis jawaban, lalu murid di-fine-tune dengan jawaban itu. Makalah DeepSeek-R1 melaporkan bahwa pola penalaran model besar dapat membimbing model yang lebih kecil. Kartu modelnya mencantumkan enam model hasil distilasi dari 1,5B hingga 70B parameter, dibangun di atas basis Qwen2.5 dan Llama dan di-fine-tune dengan data penalaran yang dihasilkan DeepSeek-R1.

Mengapa penting

  • Biaya dan kecepatan. Model yang lebih kecil membutuhkan lebih sedikit memori GPU dan menghasilkan token lebih cepat, yang terlihat pada harga per token dan latensi.
  • Kemampuan lebih sempit. Murid kuat di bidang tempat ia dilatih dan lebih lemah di luar itu. Uji pada tugas Anda sendiri, jangan hanya percaya benchmark gurunya.
  • Dikombinasikan. Distilasi dipadukan dengan kuantisasi dan LoRA pada setup self-hosted.
  • Lisensi. Lisensi atau ketentuan API guru menentukan apakah Anda boleh melatih dengan output-nya.

Di BroadNet Inference

Referensi API BroadNet tidak menyebutkan apakah ada modelnya yang hasil distilasi, jadi jangan berasumsi. Selisih harga antarmodel memang menunjukkan mengapa model kecil penting: BroadNet Gemma 4 VL 26B mencantumkan $0.22 per 1 juta token output, dibanding $3.46 untuk GLM 5.3. Apakah model yang lebih kecil cukup bagus adalah pertanyaan untuk eval Anda sendiri. Artikel model open terbaik untuk agen coding membandingkan pilihan-pilihannya per tugas.

Pertanyaan umum

Apa bedanya distilasi dan kuantisasi?

Distilasi melatih model baru yang lebih kecil. Kuantisasi mempertahankan model yang sama dan menyimpan bobotnya dengan presisi lebih rendah. Keduanya membuat inferensi lebih murah, dan keduanya bisa digabungkan.

Apakah model hasil distilasi sebagus gurunya?

Biasanya tidak di semua tugas, tetapi bisa mendekati pada tugas yang menjadi tujuan distilasinya. Dalam uji MNIST oleh Hinton, Vinyals, dan Dean, jaringan kecil hasil distilasi membuat 74 kesalahan, sedangkan gurunya 67.

Apakah boleh mendistilasi model milik penyedia lain?

Baca lisensi atau ketentuan API model guru sebelum melatih dengan output-nya. Ketentuannya berbeda-beda dalam hal ini, dan sebagian membatasinya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity