Büyük bir model her ileri geçişte bir token yazar. Spekülatif çözümleme ise her geçişte birkaç token’ı onaylamasını sağlar.
Nasıl çalışır
Leviathan ve arkadaşları basit bir gerçekten yola çıkar: “decoding K tokens takes K serial runs of the model” (çeviri: K token çözümlemek, modelin K kez ardışık çalışmasını gerektirir). Çözümleri, CPU’lardaki spekülatif yürütmeden ödünç alınır:
- Çok daha küçük ve hızlı bir taslak model, sonraki birkaç token’ı tahmin eder.
- Hedef model, bu tahminlerin hepsini tek bir ileri geçişte puanlar. Chen ve arkadaşlarının gözlemlediği gibi, kısa bir token dizisini puanlamak yaklaşık olarak bir token üretmek kadar tutar.
- Değiştirilmiş bir rejection sampling adımı, hedef modelin onayladığı en uzun tahmin dizisini tutar, ardından kendi token’ından birini örnekler.
- Yeni konumdan itibaren tekrarlanır.
Taslak sık sık doğru tahmin ettiğinde her pahalı geçiş birkaç token getirir. Yanıldığında kaybınız azdır: hedef model yine en az bir token üretir. Hugging Face’in rehberi, yöntemin en iyi taslak model “significantly smaller” (çeviri: belirgin şekilde daha küçük) olduğunda ve aynı tokenizer’ı paylaştığında çalıştığını ekler.
Bazı varyantlar ayrı taslak modeli tamamen kaldırır. Aynı rehber, ana checkpoint’teki ek başlıkların adayları taslak olarak ürettiği multi-token prediction (MTP) katmanlarını anlatır. DeepSeek’in DeepSeek V4.1 Flash model kartı, kendi şeması olan “DSpark speculative decoding” yöntemini mimarinin bir parçası olarak listeler.
Neden önemli
API kullanan biri için spekülatif çözümleme, istek başına daha yüksek saniyedeki token olarak görünür; bu da uzun cevaplarda toplam gecikmeyi azaltır. Süresi büyük ölçüde istemi okumakla geçen ilk token süresini kısaltmaz.
Kazanç eşit değildir. Kod düzenlemeleri, JSON ve kalıp metinler gibi öngörülebilir içerikler kolayca taslağa dökülür. Yaratıcı, yüksek sıcaklıklı metin daha zordur, bu yüzden daha az tahmin hayatta kalır. Yoğun yük altında ek doğrulama işi diğer isteklerle yarışır; bu nedenle bir sağlayıcı bunu kullanıcı başına hız veya toplam işlem hacmi için ayarlayabilir.
Bu aynı zamanda sunucu tarafında verilen bir karardır. Standart bir chat completions isteğiyle açamazsınız.
BroadNet Inference’ta
BroadNet’in API referansı spekülatif çözümlemeden söz etmez. Model kataloğu, API’de BroadNet Gemma 4 VL 26B olarak sunulan üretimdeki Gemma 4 26B A4B derlemesinin MTP (k=2) ile çalıştığını listeler; katalog bunu bir spekülatif çözümleme biçimi olarak tanımlar. BroadNet’in model sayfası bu derlemenin tek akışta saniyede yaklaşık 136 token ürettiğini belirtir. Katalog ayrıca EAGLE3’ün 32 eşzamanlı istekte işlem hacmini %69 düşürdüğünü bildirir; BroadNet’in MTP taslak modellerini korumasının nedeni budur. BroadNet, kendi taslağını üreten bir adaptör olan Uno üzerine iki çalışma da yayımladı: vLLM’de Uno ve Gemma 4 26B üzerinde Uno. DeepSeek V4.1 Flash’ı çalıştıran sabit fiyatlı planları için BroadNet’in planlar sayfası tipik hız olarak saniyede yaklaşık 100 token verir. Kendi çıktı hızınızı streaming ile ölçün; LLM gecikme rehberi nasıl yapılacağını gösterir.