vLLM’de Uno, BroadNet’in araştırma biriminin 8 Eylül 2026’da Zenodo’da 10.5281/zenodo.22652610 DOI’siyle yayımladığı bir ön baskı. IFM’nin geliştirdiği bir spekülatif kod çözme yöntemi olan Uno’nun yerel bir vLLM uygulamasını raporluyor ve düz vLLM’e göre ne kadar hızlı sunduğunu ölçüyor. Zenodo kaydı yazar olarak Mohammad Al Zubaidi’yi gösteriyor.
Bu sayfa makalenin ne dediğini, bunu nasıl ölçtüğünü ve size neyi söyleyip neyi söylemediğini özetliyor. Sayılar BroadNet’e ait; biz yeniden üretmedik.
Uno hangi sorunu ele alıyor?
Bir dil modeli normalde her ileri geçişte bir token üretir. Spekülatif kod çözme, birkaç token’ı önceden tahmin edip tam modelin tek geçişinde kontrol ederek bunu hızlandırır. Çoğu yöntem ayrı, daha küçük bir taslak model kullanır. Uno ise modelin kendisine eğitilmiş bir adaptör ekler; böylece model kendi token’larını taslak olarak üretir ve sonra özgün ağırlıklarıyla doğrular. Genel fikir için bkz. spekülatif kod çözme.
Makalenin sorusu pratik: bu hızlanma, toplu işleme (batching), önbellekleme ve aynı anda çok sayıda istekle çalışan bir üretim sunum motorunun içinde de korunuyor mu?
BroadNet ne inşa etti?
BroadNet’in blog yazısı emeğin kime ait olduğu konusunda net: yöntem “Uno, developed by IFM and collaborators” (BroadRouter çevirisi: IFM ve iş birlikçilerinin geliştirdiği Uno); BroadNet’in katkısı ise “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (BroadRouter çevirisi: yerel vLLM entegrasyonu, yürütme yollarını birlikte çalıştıran mühendislik ve sunum değerlendirmesi). Özet, yürütme parçalarını sıralıyor: koşullu adaptör yönlendirme, eksiksiz taslak anahtar/değer durumu, eşzamansız zamanlama, CUDA graph yeniden oynatma, örtüşen adaptör hesaplaması ve tohum satırı yeniden kullanımı.
Kod, BroadNet’in vllm-uno deposunda herkese açık; BroadNet bunu 55947 numaralı çekme isteğiyle vLLM’in ana projesine de önerdi.
Nasıl ölçüldü?
Ana test kontrollü bir test:
- Donanım ve model: tek bir NVIDIA H100, bfloat16 ile Qwen3-8B ve yayımlanmış Qwen3-8B Uno adaptörü.
- İş yükü: daha büyük toplu işleri doldurmak için döngüyle tekrarlanan sekiz matematik istemi; her biri en fazla 512 token üretiyor, önek önbelleği kapalı.
- Taban çizgisi: aynı kurulumda sıradan otoregresif vLLM (“düz vLLM”).
- Eşzamanlılık: 1, 8 ve 32 eşzamanlı akış.
İkinci ve ayrı bir karşılaştırma, SGLang referans uygulamasıyla kıyaslamak için önek önbelleğini açıyor ve BroadNet’in seçtiği sunum ayarlarını kullanıyor.
Çalışma ne buldu?
| Ölçüm | BroadNet’in raporladığı sonuç |
|---|---|
| Düz vLLM’e göre işlem hacmi, 1 akış | 2,58x |
| Düz vLLM’e göre işlem hacmi, 8 akış | 2,20x |
| Düz vLLM’e göre işlem hacmi, 32 akış | 1,74x |
| SGLang referans uygulamasına fark | 1, 8 ve 32 akışta %3 içinde |
| Üretim ayarları, 32 akış | 7.657 token/sn, SGLang’de 7.505 (%2,0 önde) |
| Isınmış ilk token gecikmesi, vLLM içi ablasyon | Bir yerine iki API süreciyle %25 daha düşük |
Kapasite planlaması açısından asıl sonuç ilk bloğun son satırı: aynı GPU’dan, 32 eşzamanlı akışta saniyede %74 daha fazla çıktı. BroadNet’in blogu buna “the central payoff” (BroadRouter çevirisi: asıl kazanç) diyor; çünkü yük altında kaybolan bir hızlanma, paylaşılan bir API için pek bir şey ifade etmez.
Daha sonraki bir sürüm (v0.2.0, vLLM’in Model Runner V2’si üzerinde) BroadNet’in blogunda Blackwell’de tek akışta 2,1 ila 2,4 kat, Ampere’de 1,7 ila 1,9 kat ve Hopper’da 2,6 kat çıktıyla anlatılıyor. Bunlar makalenin ana tablosundan farklı donanım ve sürümler; rakamların farklı olmasının nedeni bu.
Sınırlar neler?
- Tek model, tek iş yükü. Kontrollü sonuç, matematik istemlerinde Qwen3-8B için. Kod, sohbet veya uzun belgeler daha az taslak token kabul edebilir.
- Kazanım yükle küçülür. 2,58x’ten 1,74x’e inen eğilim beklenen şekil: GPU meşgulken taslak için ayrılabilecek boş hesaplama gücü tükenir.
- Bir ön baskı. Makale Zenodo’ya yüklenmiş, hakem değerlendirmesinden geçmemiş. Eşlik eden arşiv, kanıt envanterini ve şekil verilerini içeriyor; başkalarının kontrol edebilmesini sağlayan da bu.
- Kendi beyanı. İki kolu da BroadNet çalıştırdı. Referans uygulamayla %3 uyum, makalenin bu konudaki kendi kontrolü.
Yalnızca bir API çağırıyorsanız bu neden önemli?
GPU başına işlem hacmi, bir sağlayıcının ne kadar ücret alabileceğini ve yük altında ne kadar hızlı yanıt verdiğini belirler. BroadNet’in kataloğu, taslak yöntemlerini seçmeden önce gerçek eşzamanlılıkta ölçtüğünü ve EAGLE3’ü 32 eşzamanlı istekte işlem hacminin %69’una mal olduktan sonra elediğini bildiriyor. Gemma 4 26B üzerine devam çalışması aynı yöntemi, BroadNet’in Gemma 4 VL 26B adıyla sattığı uzmanlar karışımı modeline uyguluyor. Bunun BroadNet’in daha geniş sunum tercihleriyle nasıl örtüştüğü için bkz. BroadNet’in GPU donanımı ve sunum yaklaşımı.
Kendi vLLM sunucularınızı çalıştırıyorsanız pratik ders şu: herhangi bir taslak yöntemini tek akışta değil, gerçekte çalıştırdığınız eşzamanlılıkta kıyaslayın.
