BroadRouter

Gemma 4 26B에 적용한 Uno: BroadNet의 전문가 혼합(MoE) 연구

BroadNet Inference 팀 · 3분 분량 · 게시 · 업데이트

BroadNet의 2026년 9월 프리프린트(DOI 10.5281/zenodo.22820511)는 4비트로 서빙하는 전문가 혼합 모델 Gemma 4 26B A4B용 Uno 어댑터를 처음으로 학습합니다. 이 어댑터는 72개 프롬프트의 프로덕션 워크로드에서 일반 디코딩보다 1.166배 빠르게 디코딩해 별도 드래프터 두 개(1.474배, 1.553배)에 뒤지지만, 약 10,500 토큰 컨텍스트에서는 프로덕션 드래프터를 앞섭니다.

BroadNet의 두 번째 Uno 프리프린트는 자기 초안(self-drafting)을 처음으로 전문가 혼합 모델에 적용합니다. 2026년 9월 18일 Zenodo에 DOI 10.5281/zenodo.22820511로 공개된 이 논문은 Gemma 4 26B A4B를 4비트로 서빙하고 이 모델용 Uno 어댑터를 학습합니다. 대상은 BroadNet Inference의 BroadNet Gemma 4 VL 26B와 같은 기반 모델입니다.

이 연구는 밀집(dense) 8B 모델을 시험한 vLLM 서빙에서의 Uno 연구의 후속입니다. 아래 수치는 BroadNet이 발표한 것이며, 저희가 재현하지는 않았습니다.

연구 질문은 무엇이었나요?

추측 디코딩은 토큰 여러 개를 초안으로 만든 뒤 한 번의 패스로 검증합니다. 전문가 혼합 모델에는 걱정거리가 하나 더 있습니다. 초안 행마다 다른 전문가로 라우팅될 수 있어서, 토큰 네 개를 초안으로 만들면 토큰 하나를 생성할 때보다 훨씬 많은 전문가 가중치를 읽게 될 수 있습니다. 논문은 이 “expert fan-out”(전문가 분산)이 자기 초안을 지나치게 비싸게 만드는지, 그리고 자기 초안이 별도 드래프터를 이기는 때가 언제인지 묻습니다.

BroadNet은 어떻게 시험했나요?

논문 초록과 BroadNet의 방법론 설명에 따르면 다음과 같습니다.

  • 모델: Gemma 4 26B A4B, 토큰당 활성 파라미터 약 4B, 4비트 가중치.
  • 하드웨어: 24GB급 GPU, 한 번에 시퀀스 하나.
  • 워크로드: BroadNet 프로덕션 트래픽에서 가져온 프롬프트 72개. 각 속도 향상은 같은 세션의 일반 디코딩 실행으로 나눈 값입니다.
  • 긴 컨텍스트: 약 10,500 토큰짜리 프롬프트 5개로 된 별도 세트.
  • 어댑터: rank 16, 서빙에 쓰는 것과 같은 4비트 체크포인트를 거쳐 965개 행으로 24GB GPU 한 장에서 학습했으며, 전체 정밀도 가중치는 쓰지 않았습니다.

무엇을 발견했나요?

Gemma 4 26B A4B 디코딩 방식 일반 디코딩 대비 속도 향상
일반 디코딩 1.000
Uno 파일럿 어댑터, 폭 4 1.166
다중 토큰 예측 드래프터, 폭 2 1.474
블록 드래프터, 폭 8 1.553
약 10,500 토큰 컨텍스트의 Uno 1.089 (MTP 드래프터: 1.011)

BroadNet이 보고한 그 밖의 결과는 다음과 같습니다.

  • 학습이 도움이 되었습니다. 1,500회 업데이트 동안 수락 비율이 42.4%에서 48.9%로 올랐고, 같은 레시피로 학습한 2,000행의 더 큰 코퍼스는 대응하는 기준(anchor) 실행보다 검증 단계당 초안 토큰을 0.49개 더 수락했습니다.
  • 전문가 분산은 실재하지만 비용이 작습니다. 초안 행 네 개는 행 하나의 8개에 비해 서로 다른 전문가 22개를 건드렸지만, 행 관련 비용 전체는 약 2.4단계짜리 사이클에서 0.53단계 이내였습니다. BroadNet은 이 등급의 하드웨어에서 라우팅 비용이 “worth under a fifth of a cycle”(번역: 사이클의 5분의 1 미만에 해당한다)고 결론짓습니다.
  • 무손실. BroadNet은 일반 출력이 세션마다 똑같이 재현되지 않는 프로필을 위한 검사를 만들었고, Uno가 “as close to plain as plain is to itself”(번역: 일반 디코딩이 스스로와 가까운 만큼 일반 디코딩에 가깝다)고 보고합니다.
  • 5개 언어. 논문은 이 어댑터의 5개 언어에 걸친 수락률에 대해 스스로 첫 측정이라고 부르는 결과를 제시합니다.

실제로는 무엇을 의미하나요?

논문이 제시하는 규칙은 단순합니다. 모델에 쓸 만한 소형 드래프터가 있으면 그것을 쓰고, 자기 초안은 긴 컨텍스트와 드래프터가 없는 모델에서 제 몫을 합니다. 이는 BroadNet이 실제로 운영한다고 밝힌 방식과 일치합니다. BroadNet의 카탈로그에는 Gemma 4 26B가 다중 토큰 예측 드래프터(k=2)로 프로덕션에서 운영되며 “90%+ acceptance on structured prompts”(번역: 구조화된 프롬프트에서 90% 이상 수락)라고 적혀 있습니다.

프로덕션에서 드래프터는 얼마나 효과가 있을까요? BroadNet의 카탈로그는 다중 토큰 예측이 RTX 3090에서 48.8%를 더했다고 보고하며, Gemma 4 VL 26B 페이지는 추측 디코딩을 켰을 때 단일 스트림에서 초당 약 136 토큰이라고 밝힙니다. 둘 다 BroadNet이 모델 페이지에서 설명하는 서빙 구성에서 직접 측정한 값이므로, API로 체감하는 속도는 부하와 프롬프트 및 응답 길이에 따라서도 달라집니다.

API 구매자에게 유용한 부분은 어댑터가 아니라 방법론입니다. BroadNet은 서빙하는 모든 모델이 고객에게 가기 전에 이 계산을 거친다고 말합니다. 초안 사이클 한 번의 비용을 측정한 다음, 실제 워크로드에서 이기는 드래프터를 고르는 것입니다. 같은 원칙에 따라 BroadNet은 포화 상태의 서빙에서 EAGLE3를 탈락시켰습니다.

한계는 무엇인가요?

  • 단일 스트림만. 한 번에 시퀀스 하나, 비교군마다 실행 한 번. 밀집 모델 연구에서 보았듯이 배치 서빙은 다르게 동작합니다.
  • 모델 하나. 결과는 24GB급 카드에서 4비트로 실행한 Gemma 4 26B A4B에 대한 것입니다.
  • 프리프린트. Zenodo의 버전 2.3이며, 동료 심사를 거치지 않았고, 근거 자료 아카이브가 함께 첨부되어 있습니다.

vllm-uno 릴리스 v0.3.0에는 서빙 프로필, 컨테이너 이미지, 검증 기록이 포함되어 있어 수치를 직접 확인할 수 있습니다. 서빙 중인 모델 자체를 써 보려면 BroadNet의 브라우저 플레이그라운드에서 계정 없이 Gemma 4를 실행할 수 있습니다.

자주 묻는 질문

전문가 혼합(MoE) 모델이란 무엇인가요?

층마다 여러 전문가 하위 네트워크가 있고, 토큰마다 그중 몇 개만 실행되는 모델입니다. Gemma 4 26B A4B는 전체 파라미터가 26B이고 토큰당 활성 파라미터는 약 4B이므로, 크기에 비해 서빙 비용이 낮습니다.

이 연구에서 Uno 어댑터가 다른 드래프터보다 느린 이유는 무엇인가요?

논문은 이를 구조적인 이유로 설명합니다. 자기 초안 사이클은 전체 모델의 순전파 두 번이 필요하지만, 별도 드래프터는 그중 하나를 작은 네트워크로 대체합니다. 그래서 전용 소형 드래프터가 있다면 보통 그쪽이 이깁니다.

자기 초안은 언제 유리한가요?

논문에 따르면 긴 컨텍스트에서 유리합니다. 넓은 초안이 사이클마다 더 많은 토큰을 확정하기 때문입니다(약 10,500 토큰에서 1.089배 대 1.011배). 소형 드래프터가 아예 없는 모델에서도 유리합니다.

BroadNet은 Gemma 4 API에 이 어댑터를 쓰나요?

BroadNet의 모델 페이지에 따르면 Gemma 4 26B 빌드는 다중 토큰 예측 추측 디코딩(k=2)으로 서빙됩니다. Uno 어댑터는 연구 결과물로 공개되었으며, BroadNet은 이 어댑터로 API 트래픽을 서빙한다고 밝히지 않았습니다.

어댑터를 내려받을 수 있나요?

네. BroadNet은 Hugging Face에 Broadnet/gemma-4-26B-A4B-uno-pilot-adapter로 공개했으며, 서빙 프로필과 컨테이너 이미지는 vllm-uno 릴리스 v0.3.0에 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기