BroadRouter

vLLM의 Uno: BroadNet 서빙 연구가 측정한 것

BroadNet Inference 팀 · 4분 분량 · 게시

vLLM의 Uno는 BroadNet이 2026년 9월에 발표한 프리프린트(DOI 10.5281/zenodo.22652610)입니다. 모델이 자신의 토큰을 직접 초안으로 만들게 하는 어댑터인 Uno를 vLLM에 추가합니다. BroadNet은 H100과 Qwen3-8B에서 일반 vLLM 대비 처리량을 스트림 1개에서 2.58배, 8개에서 2.20배, 32개에서 1.74배로 측정했으며, 이는 레퍼런스 구현과 3% 이내 차이입니다.

vLLM의 Uno는 BroadNet 연구 부문이 2026년 9월 8일 Zenodo에 DOI 10.5281/zenodo.22652610로 공개한 프리프린트입니다. IFM이 개발한 추측 디코딩 방법인 Uno를 vLLM에 네이티브로 구현한 내용을 보고하고, 일반 vLLM보다 얼마나 빠르게 서빙하는지 측정합니다. Zenodo 레코드에는 저자가 Mohammad Al Zubaidi로 올라 있습니다.

이 글은 논문의 주장, 측정 방법, 그리고 논문이 알려 주는 것과 알려 주지 않는 것을 정리합니다. 수치는 BroadNet의 것이며, 저희가 재현하지는 않았습니다.

Uno는 어떤 문제를 다루나요?

언어 모델은 보통 순전파 한 번에 토큰 하나를 생성합니다. 추측 디코딩은 토큰 여러 개를 미리 추측하고 전체 모델의 패스 한 번으로 확인해서 이를 빠르게 합니다. 대부분의 방법은 별도의 작은 초안 모델을 씁니다. Uno는 대신 학습된 어댑터를 모델 자체에 붙여서, 모델이 자신의 토큰을 초안으로 만든 다음 원래 가중치로 검증하게 합니다. 일반적인 개념은 추측 디코딩을 참고하세요.

논문의 질문은 실용적입니다. 배치, 캐싱, 다수의 동시 요청이 있는 프로덕션 서빙 엔진 안에서도 그 속도 향상이 살아남을까요?

BroadNet은 무엇을 만들었나요?

BroadNet의 블로그 글은 공로를 분명히 밝힙니다. 방법은 “Uno, developed by IFM and collaborators”(번역: IFM과 공동 연구자들이 개발한 Uno)이고, BroadNet의 기여는 “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”(번역: 네이티브 vLLM 통합, 실행 경로가 함께 작동하게 만드는 엔지니어링, 그리고 서빙 평가)입니다. 초록은 실행 구성 요소를 나열합니다. 조건부 어댑터 라우팅, 완전한 초안 키/값 상태, 비동기 스케줄링, CUDA 그래프 재실행, 어댑터 연산 중첩, 시드 행 재사용입니다.

코드는 BroadNet의 vllm-uno 저장소에 공개되어 있으며, BroadNet은 이를 vLLM 업스트림에 풀 리퀘스트 55947로 제안했습니다.

어떻게 측정했나요?

주요 실험은 통제된 실험입니다.

  • 하드웨어와 모델: NVIDIA H100 한 장, bfloat16의 Qwen3-8B, 공개된 Qwen3-8B Uno 어댑터.
  • 워크로드: 수학 프롬프트 8개를 반복해 더 큰 배치를 채우고, 각각 최대 512 토큰을 생성하며, 프리픽스 캐싱은 끔.
  • 기준선: 같은 구성의 일반 자기회귀 vLLM(“plain vLLM”).
  • 동시성: 동시 스트림 1, 8, 32개.

두 번째 별도 비교에서는 프리픽스 캐싱을 켜고 BroadNet이 선택한 서빙 설정을 써서 SGLang 레퍼런스 구현과 비교합니다.

연구 결과는 무엇인가요?

측정 항목 BroadNet이 보고한 결과
일반 vLLM 대비 처리량, 스트림 1개 2.58배
일반 vLLM 대비 처리량, 스트림 8개 2.20배
일반 vLLM 대비 처리량, 스트림 32개 1.74배
SGLang 레퍼런스 구현과의 차이 스트림 1, 8, 32개에서 3% 이내
프로덕션 설정, 스트림 32개 초당 7,657 토큰, SGLang은 7,505 토큰(2.0% 앞섬)
웜 상태 첫 토큰 지연 시간, vLLM 내 절제 실험 API 프로세스를 1개 대신 2개로 했을 때 25% 낮음

용량 계획에서 핵심은 첫 번째 묶음의 마지막 행입니다. 같은 GPU로 동시 스트림 32개에서 초당 출력이 74% 늘어납니다. BroadNet의 블로그가 이를 “the central payoff”(번역: 핵심 성과)라고 부르는 이유는, 부하가 걸리면 사라지는 속도 향상은 공유 API에 별 도움이 되지 않기 때문입니다.

이후 릴리스(v0.2.0, vLLM의 Model Runner V2 기반)는 BroadNet 블로그에서 단일 스트림 출력이 Blackwell에서 2.12.4배, Ampere에서 1.71.9배, Hopper에서 2.6배라고 설명됩니다. 논문의 주요 표와 하드웨어와 버전이 다르기 때문에 수치도 다릅니다.

한계는 무엇인가요?

  • 모델 하나, 워크로드 하나. 통제 실험 결과는 수학 프롬프트에 대한 Qwen3-8B입니다. 코드, 채팅, 긴 문서에서는 수락되는 초안 토큰이 더 적을 수 있습니다.
  • 부하가 늘면 향상 폭이 줄어듭니다. 2.58배에서 1.74배로 줄어드는 추세는 예상된 모양입니다. GPU가 바빠지면 초안에 쓸 여유 연산이 바닥납니다.
  • 프리프린트. 논문은 Zenodo에 등록되었으며 동료 심사를 거치지 않았습니다. 함께 첨부된 아카이브에 근거 목록과 그림 데이터가 들어 있어 다른 사람이 검증할 수 있습니다.
  • 자체 보고. 두 비교군 모두 BroadNet이 실행했습니다. 레퍼런스 구현과 3% 이내로 일치한다는 것이 이에 대한 논문 자체의 검증입니다.

API만 호출한다면 왜 중요한가요?

GPU당 처리량은 제공업체가 매길 수 있는 가격과 부하 상태에서의 응답 속도를 결정합니다. BroadNet의 카탈로그에 따르면 BroadNet은 초안 방법을 고르기 전에 실제 동시성에서 측정하며, EAGLE3가 동시 요청 32개에서 처리량의 69%를 잃은 뒤 이를 탈락시켰습니다. Gemma 4 26B 후속 연구는 BroadNet이 Gemma 4 VL 26B로 판매하는 전문가 혼합 모델에 같은 방법을 적용합니다. 이것이 BroadNet의 전반적인 서빙 선택과 어떻게 맞물리는지는 BroadNet의 GPU 하드웨어와 서빙 방식을 참고하세요.

자체 vLLM 서버를 운영한다면 실무적인 교훈은 이렇습니다. 어떤 초안 방법이든 스트림 하나가 아니라 실제로 운영하는 동시성에서 벤치마크하세요.

자주 묻는 질문

Uno란 무엇인가요?

Uno는 IFM과 공동 연구자들이 개발한 추측 디코딩 방법입니다. 학습된 작은 어댑터가 모델이 여러 토큰을 한꺼번에 제안하게 하고, 모델 자신의 가중치가 그 토큰을 검증합니다. 별도의 초안 모델은 없습니다.

속도 향상은 무손실인가요?

BroadNet은 자사 릴리스에 대해 그렇다고 말합니다. 일반 vLLM이 자신의 출력을 재현할 때마다 Uno는 그 그리디 토큰과 일치하고, 샘플링 분포 테스트도 통과합니다. 추측 디코딩은 초안 토큰을 모두 전체 모델로 검증하므로 출력 품질은 바뀌지 않아야 하지만, 자체 프롬프트로 확인하세요.

동시성이 높을 때도 Uno가 도움이 되나요?

동시성이 낮을 때보다는 덜 됩니다. 논문의 통제 실험에서 향상 폭은 스트림 1개의 2.58배에서 32개의 1.74배로 줄었습니다. BroadNet의 카탈로그에 따르면 다른 방법인 EAGLE3는 동시 요청 32개에서 처리량의 69%를 잃었으므로, 초안 방법은 실제 부하에서 시험해야 합니다.

직접 실행할 수 있나요?

네. BroadNet은 구현을 vllm-uno 저장소에 릴리스마다 컨테이너 이미지, 고정된 버전, 검증 기록과 함께 공개하며, vLLM에 풀 리퀘스트 55947로 제안했습니다.

BroadNet Inference는 API 모델에 Uno를 쓰나요?

BroadNet은 그렇다고 밝히지 않았습니다. 카탈로그에는 Gemma 4 26B의 프로덕션에 다중 토큰 예측 드래프터(k=2)가 쓰인다고 나와 있습니다. Uno는 BroadNet이 공개한 연구 결과이며, 전용 엔드포인트에서 필요하다면 BroadNet에 문의하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기