Uno in vLLM ist ein Preprint der Forschungsabteilung von BroadNet, am 8. September 2026 unter der DOI 10.5281/zenodo.22652610 auf Zenodo veröffentlicht. Es beschreibt eine native vLLM-Implementierung von Uno, einer von IFM entwickelten Speculative-Decoding-Methode, und misst, wie viel schneller sie gegenüber normalem vLLM ausliefert. Der Zenodo-Eintrag nennt Mohammad Al Zubaidi als Autor.
Diese Seite fasst zusammen, was das Paper sagt, wie es gemessen wurde und was es Ihnen sagt und was nicht. Die Zahlen stammen von BroadNet; wir haben sie nicht nachgemessen.
Welches Problem adressiert Uno?
Ein Sprachmodell erzeugt normalerweise ein Token pro Forward-Pass. Speculative Decoding beschleunigt das, indem es mehrere Tokens im Voraus rät und sie in einem Durchgang des vollen Modells prüft. Die meisten Methoden nutzen dafür ein separates, kleineres Draft-Modell. Uno hängt stattdessen einen trainierten Adapter an das Modell selbst, sodass das Modell seine eigenen Tokens entwirft und sie dann mit seinen ursprünglichen Gewichten verifiziert. Die allgemeine Idee erklärt der Glossareintrag Speculative Decoding.
Die Frage des Papers ist praktisch: Bleibt diese Beschleunigung in einer produktiven Serving-Engine erhalten, mit Batching, Caching und vielen gleichzeitigen Anfragen?
Was hat BroadNet gebaut?
Der Blogbeitrag von BroadNet ist bei der Urheberschaft eindeutig: „Uno, developed by IFM and collaborators“ (Übersetzung: „Uno, entwickelt von IFM und Partnern“) ist die Methode, und der Beitrag von BroadNet ist „the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation“ (Übersetzung: „die native vLLM-Integration, die Technik, die ihre Ausführungspfade zusammenarbeiten lässt, und die Serving-Evaluierung“). Das Abstract nennt die Ausführungsbausteine: bedingtes Adapter-Routing, vollständiger Key/Value-Zustand für Drafts, asynchrones Scheduling, CUDA-Graph-Replay, überlappende Adapterberechnung und Wiederverwendung von Seed-Zeilen.
Der Code ist öffentlich im Repository vllm-uno von BroadNet, und BroadNet hat ihn vLLM upstream als Pull Request 55947 vorgeschlagen.
Wie wurde gemessen?
Der Haupttest ist kontrolliert:
- Hardware und Modell: eine NVIDIA H100, Qwen3-8B in bfloat16, mit dem veröffentlichten Uno-Adapter für Qwen3-8B.
- Workload: acht Mathe-Prompts, wiederholt, um größere Batches zu füllen, jeweils bis zu 512 erzeugte Tokens, Prefix-Caching aus.
- Vergleichsbasis: gewöhnliches autoregressives vLLM („normales vLLM“) im selben Aufbau.
- Parallelität: 1, 8 und 32 gleichzeitige Streams.
Ein zweiter, separater Vergleich schaltet Prefix-Caching ein und nutzt die von BroadNet gewählten Serving-Einstellungen, um mit der SGLang-Referenzimplementierung zu vergleichen.
Was hat die Studie ergeben?
| Messung | Von BroadNet gemeldetes Ergebnis |
|---|---|
| Durchsatz gegenüber normalem vLLM, 1 Stream | 2,58x |
| Durchsatz gegenüber normalem vLLM, 8 Streams | 2,20x |
| Durchsatz gegenüber normalem vLLM, 32 Streams | 1,74x |
| Abstand zur SGLang-Referenzimplementierung | innerhalb von 3 % bei 1, 8 und 32 Streams |
| Produktionseinstellungen, 32 Streams | 7.657 Tokens/s, gegenüber 7.505 für SGLang (2,0 % vorn) |
| Warme Latenz bis zum ersten Token, Ablation innerhalb von vLLM | 25 % niedriger mit zwei API-Prozessen statt einem |
Für die Kapazitätsplanung zählt die letzte Zeile des ersten Blocks: 74 % mehr Output pro Sekunde bei 32 gleichzeitigen Streams, von derselben GPU. Das nennt der Blog von BroadNet „the central payoff“ (Übersetzung: „den zentralen Gewinn“), denn eine Beschleunigung, die unter Last verschwindet, bringt einer geteilten API wenig.
Ein späteres Release (v0.2.0, auf dem Model Runner V2 von vLLM) beschreibt der Blog von BroadNet mit dem 2,1- bis 2,4-Fachen an Single-Stream-Output auf Blackwell, dem 1,7- bis 1,9-Fachen auf Ampere und dem 2,6-Fachen auf Hopper. Das sind andere Hardware und andere Versionen als in der Haupttabelle des Papers, deshalb weichen die Zahlen ab.
Wo liegen die Grenzen?
- Ein Modell, ein Workload. Das kontrollierte Ergebnis gilt für Qwen3-8B mit Mathe-Prompts. Bei Code, Chat oder langen Dokumenten werden womöglich weniger Draft-Tokens akzeptiert.
- Gewinne schrumpfen mit der Last. Der Verlauf von 2,58x zu 1,74x ist die erwartete Form: Ist die GPU ausgelastet, fehlt freie Rechenleistung für das Drafting.
- Ein Preprint. Das Paper ist auf Zenodo hinterlegt, nicht peer-reviewed. Sein Begleitarchiv enthält das Evidenzverzeichnis und die Abbildungsdaten, mit denen andere es prüfen können.
- Selbst gemeldet. BroadNet hat beide Varianten gemessen. Die Übereinstimmung mit der Referenzimplementierung auf 3 % ist die eigene Kontrolle des Papers dafür.
Warum ist das relevant, wenn Sie nur eine API aufrufen?
Der Durchsatz pro GPU bestimmt, was ein Anbieter verlangen kann und wie schnell er unter Last antwortet. Laut Katalog misst BroadNet Drafting-Methoden bei realer Parallelität, bevor es sich für eine entscheidet, und hat EAGLE3 ausgeschlossen, nachdem es bei 32 gleichzeitigen Anfragen 69 % Durchsatz kostete. Die Folgestudie zu Gemma 4 26B wendet dieselbe Methode auf das Mixture-of-Experts-Modell an, das BroadNet als Gemma 4 VL 26B anbietet. Wie das zu den übrigen Serving-Entscheidungen von BroadNet passt, zeigt GPU-Hardware und Serving-Ansatz von BroadNet.
Wenn Sie eigene vLLM-Server betreiben, lautet die praktische Lehre: Benchmarken Sie jede Drafting-Methode bei der Parallelität, mit der Sie tatsächlich arbeiten, nicht bei einem Stream.
