Büyük modelleri sunmak pahalıdır. Damıtma, büyük bir modelin bildiklerini küçük bir modele aktarır.
Nasıl çalışır
Hinton, Vinyals ve Dean modern biçimi 2015’te tanımladı. Öğretmenin çıktı olasılıkları öğrenci için “soft targets” (çeviri: yumuşak hedefler) hâline gelir. Düz bir etiket yalnızca “bu bir 7” der. Öğretmenin olasılıkları ise ayrıca biraz 1’e benzediğini ve hiç 4’e benzemediğini söyler; bu ek sinyal öğrencinin öğrenmesine yardım eder.
Bu sinyali açığa çıkarmak için softmax sıcaklığını yükseltirler. Makale, daha yüksek bir T’nin “produces a softer probability distribution over classes” (çeviri: sınıflar üzerinde daha yumuşak bir olasılık dağılımı ürettiğini) belirtir. MNIST sonuçları:
| Model | Test hataları |
|---|---|
| Büyük öğretmen ağ | 67 |
| Küçük ağ, yalnızca etiketlerle eğitilmiş | 146 |
| Aynı küçük ağ, T = 20’de damıtılmış | 74 |
LLM’lerde damıtma çoğu zaman olasılıklar yerine üretilmiş metin kullanır. Öğretmen yanıtlar yazar, öğrenci de bu yanıtlarla ince ayar yapılır. DeepSeek-R1 makalesi, büyük modellerin akıl yürütme kalıplarının daha küçük modellere yol gösterebileceğini bildirir. Model kartı, Qwen2.5 ve Llama tabanları üzerine kurulmuş ve DeepSeek-R1’in ürettiği akıl yürütme verileriyle ince ayar yapılmış, 1,5B ile 70B parametre arasında altı damıtılmış model listeler.
Neden önemli
- Maliyet ve hız. Daha küçük bir model daha az GPU belleği ister ve daha hızlı üretir; bu da token başına fiyatlara ve gecikmeye yansır.
- Daha dar beceri. Öğrenci eğitildiği yerde güçlü, diğer yerlerde daha zayıftır. Öğretmenin benchmark’ına güvenmek yerine kendi görevlerinizde test edin.
- Birleştirme. Kendi barındırdığınız kurulumlarda damıtma, kuantizasyon ve LoRA ile birlikte kullanılır.
- Lisans. Çıktılarıyla eğitim yapıp yapamayacağınızı öğretmenin lisansı veya API koşulları belirler.
BroadNet Inference’ta
BroadNet’in API referansı, modellerinden herhangi birinin damıtılıp damıtılmadığını söylemez; bu yüzden bunu varsaymayın. Yine de modeller arasındaki fiyat farkları küçük modellerin neden önemli olduğunu gösterir: BroadNet Gemma 4 VL 26B, 1M çıktı token’ı başına $0.22 fiyatını listeler, GLM 5.3 için bu fiyat $3.46 olarak geçer. Küçük modelin yeterince iyi olup olmadığı, kendi değerlendirmenizin (eval) sorusudur. Kodlama ajanları için en iyi açık model yazısı seçenekleri göreve göre karşılaştırır.