---
title: "Uno trên Gemma 4 26B MoE: nghiên cứu BroadNet và DOI"
description: "BroadNet đã huấn luyện adapter tự soạn nháp Uno đầu tiên cho một model mixture-of-experts, Gemma 4 26B A4B. Họ đo gì, khi nào tự soạn nháp có lợi, và DOI."
url: https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (cập nhật ngày 2026-11-16).

# Uno trên Gemma 4 26B: nghiên cứu mixture-of-experts của BroadNet

Đội ngũ BroadNet Inference · 3 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

Preprint tháng 9 năm 2026 của BroadNet (DOI 10.5281/zenodo.22820511) huấn luyện adapter Uno đầu tiên cho một model mixture-of-experts, Gemma 4 26B A4B, chạy ở 4-bit. Adapter giải mã nhanh hơn 1,166 lần so với giải mã thường trên tập 72 prompt production, xếp sau hai drafter riêng (1,474 và 1,553 lần), nhưng vượt drafter production ở context khoảng 10.500 token.

## Ý chính

-   Preprint trên Zenodo, DOI 10.5281/zenodo.22820511, phiên bản 2.3, ngày 18 tháng 9 năm 2026, CC BY 4.0. Chưa qua bình duyệt.
-   Model mục tiêu: Gemma 4 26B A4B, nền tảng của BroadNet Gemma 4 VL 26B, chạy với trọng số 4-bit.
-   Một adapter rank 16 huấn luyện trên 965 dòng đã nâng tỷ lệ bản nháp được chấp nhận từ 42,4% lên 48,9%.
-   Mức tăng tốc so với giải mã thường: 1,166 lần với adapter Uno, 1,474 lần với drafter dự đoán đa token, 1,553 lần với drafter khối.
-   Ở context khoảng 10.500 token, adapter vượt drafter production: 1,089 lần so với 1,011 lần.

**Trong trang này**

1.  Câu hỏi nghiên cứu là gì?
2.  BroadNet đã thử nghiệm như thế nào?
3.  Kết quả là gì?
4.  Trong thực tế điều này có nghĩa là gì?
5.  Giới hạn là gì?

Preprint Uno thứ hai của BroadNet lần đầu áp dụng kỹ thuật tự soạn nháp (self-drafting) cho một model [mixture-of-experts](https://broadrouter.com/vi/glossary/mixture-of-experts/). Được công bố trên Zenodo ngày 18 tháng 9 năm 2026 với DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), bài báo phục vụ Gemma 4 26B A4B ở 4-bit và huấn luyện một adapter Uno cho nó. Model mục tiêu có cùng model nền với [BroadNet Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) trên BroadNet Inference.

Bài này nối tiếp [nghiên cứu Uno khi phục vụ trong vLLM](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/), vốn thử nghiệm một model dense 8B. Các con số dưới đây là của BroadNet; chúng tôi chưa tái lập chúng.

## Câu hỏi nghiên cứu là gì?

Speculative decoding soạn nháp vài token rồi kiểm chứng chúng trong một lượt. Với model mixture-of-experts có thêm một mối lo: các dòng nháp có thể được định tuyến tới những expert khác nhau, nên soạn nháp bốn token có thể phải đọc nhiều trọng số expert hơn hẳn so với sinh một token. Bài báo hỏi liệu “expert fan-out” (sự tỏa ra nhiều expert) đó có làm tự soạn nháp quá tốn kém không, và khi nào tự soạn nháp thắng một drafter riêng.

## BroadNet đã thử nghiệm như thế nào?

Theo phần tóm tắt của bài báo và mô tả phương pháp của BroadNet:

-   **Model:** Gemma 4 26B A4B, khoảng 4B tham số hoạt động mỗi token, trọng số 4-bit.
-   **Phần cứng:** GPU hạng 24 GB, mỗi lần một chuỗi.
-   **Tải công việc:** 72 prompt lấy từ lưu lượng production của BroadNet; mỗi mức tăng tốc được chia cho một lần chạy giải mã thường trong cùng phiên.
-   **Context dài:** một bộ riêng gồm năm prompt dài khoảng 10.500 token.
-   **Adapter:** rank 16, huấn luyện trên 965 dòng qua chính checkpoint 4-bit dùng để phục vụ, trên một GPU 24 GB, không có trọng số độ chính xác đầy đủ trong vòng lặp.

## Kết quả là gì?

| Cách giải mã Gemma 4 26B A4B | Mức tăng tốc so với giải mã thường |
| --- | --- |
| Giải mã thường | 1,000 |
| Adapter thí điểm Uno, độ rộng 4 | 1,166 |
| Drafter dự đoán đa token, độ rộng 2 | 1,474 |
| Drafter khối, độ rộng 8 | 1,553 |
| Uno ở context khoảng 10.500 token | 1,089 (drafter MTP: 1,011) |

Các kết quả khác mà BroadNet báo cáo:

-   **Huấn luyện có tác dụng.** Tỷ lệ chấp nhận tăng từ 42,4% lên 48,9% qua 1.500 lần cập nhật, và một tập dữ liệu lớn hơn gồm 2.000 dòng, huấn luyện theo cùng công thức, chấp nhận thêm 0,49 token nháp mỗi bước kiểm chứng so với lượt chạy đối chứng tương ứng.
-   **Expert fan-out là có thật nhưng rẻ.** Bốn dòng nháp chạm tới 22 expert khác nhau so với 8 expert của một dòng, nhưng toàn bộ chi phí liên quan đến dòng chỉ tối đa 0,53 bước trong một chu kỳ khoảng 2,4 bước. BroadNet kết luận chi phí định tuyến “worth under a fifth of a cycle” (bản dịch: chưa bằng một phần năm chu kỳ) trên loại phần cứng này.
-   **Không mất mát.** BroadNet xây dựng một phép kiểm tra cho một profile mà đầu ra thường của nó không tự lặp lại giống nhau giữa các phiên, và báo cáo Uno “as close to plain as plain is to itself” (bản dịch: gần với giải mã thường đúng bằng mức giải mã thường gần với chính nó).
-   **Năm ngôn ngữ.** Bài báo đưa ra cái mà họ gọi là phép đo đầu tiên về tỷ lệ chấp nhận của adapter này trên năm ngôn ngữ.

## Trong thực tế điều này có nghĩa là gì?

Quy tắc của chính bài báo rất đơn giản: nếu có một drafter nhỏ tốt cho model của bạn, hãy dùng nó; tự soạn nháp có chỗ đứng ở context dài và với những model không có drafter. Điều đó khớp với những gì BroadNet nói họ đang chạy: catalogue của họ liệt kê Gemma 4 26B trong production với drafter dự đoán đa token (k=2), với “90%+ acceptance on structured prompts” (bản dịch: tỷ lệ chấp nhận trên 90% với prompt có cấu trúc).

Trong production, drafter mang lại bao nhiêu? Catalogue của BroadNet báo cáo dự đoán đa token tăng thêm 48,8% trên RTX 3090, và trang Gemma 4 VL 26B đưa ra khoảng 136 token mỗi giây trên một luồng khi bật speculative decoding. Cả hai đều là số đo của chính BroadNet trên cấu hình phục vụ mà trang model của họ mô tả, nên tốc độ bạn nhận được qua API còn phụ thuộc vào tải và độ dài prompt cùng câu trả lời.

Với người mua API, phần hữu ích là phương pháp, không phải adapter. BroadNet nói mọi model họ phục vụ đều qua phép tính này trước khi đến tay khách hàng: đo chi phí của một chu kỳ nháp, rồi chọn drafter thắng trên tải công việc thực tế. Cũng chính nguyên tắc đó đã khiến họ [loại EAGLE3](https://broadrouter.com/vi/blog/models-broadnet-ruled-out/) khi phục vụ ở mức bão hòa.

## Giới hạn là gì?

-   **Chỉ một luồng.** Mỗi lần một chuỗi, mỗi nhánh so sánh chạy một lần. Phục vụ theo batch hoạt động khác, như nghiên cứu model dense đã cho thấy.
-   **Một model.** Kết quả áp dụng cho Gemma 4 26B A4B ở 4-bit trên card hạng 24 GB.
-   **Một preprint.** Phiên bản 2.3 trên Zenodo, chưa qua bình duyệt, kèm theo một kho lưu trữ bằng chứng đi cùng.

Bản phát hành v0.3.0 của [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) cung cấp profile phục vụ, một container image và hồ sơ kiểm chứng, nên các con số có thể được kiểm tra. Để thử chính model đang được phục vụ, [playground trên trình duyệt](https://broadrouter.com/vi/guides/try-broadnet-inference-playground/) của BroadNet chạy Gemma 4 mà không cần tài khoản.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/)

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

[Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/)

Số token mỗi giây (TPS) là tốc độ model ngôn ngữ sinh token đầu ra, thường đo cho một request sau khi token đầu tiên tới. Nó quyết định câu trả lời stream nhanh đến đâu. Cộng trên mọi request đồng thời, nó thành thông lượng hệ thống; thời gian chờ trước token đầu tiên được đo riêng.

[vLLM](https://broadrouter.com/vi/glossary/vllm/)

vLLM là thư viện mã nguồn mở để chạy suy luận và phục vụ (serving) LLM, ban đầu được phát triển tại Sky Computing Lab của UC Berkeley. Nó quản lý bộ nhớ KV cache bằng PagedAttention, gom request liên tục theo continuous batching, hỗ trợ nhiều định dạng lượng tử hóa và cung cấp HTTP server tương thích OpenAI.

## Câu hỏi thường gặp

### Model mixture-of-experts là gì?

Là model mà các lớp chứa nhiều mạng con chuyên gia (expert), và với mỗi token chỉ một vài expert chạy. Gemma 4 26B A4B có tổng cộng 26B tham số và khoảng 4B tham số hoạt động cho mỗi token, nên chi phí phục vụ thấp so với kích thước.

### Vì sao ở đây adapter Uno chậm hơn các drafter khác?

Bài báo giải thích đây là vấn đề cấu trúc: một chu kỳ tự soạn nháp tốn hai lượt forward của toàn bộ model, trong khi drafter riêng thay một lượt bằng một mạng nhỏ. Vì vậy, khi có sẵn một drafter nhỏ chuyên dụng, nó thường thắng.

### Khi nào tự soạn nháp có lợi?

Theo bài báo, ở context dài, nơi bản nháp rộng hơn chốt được nhiều token hơn mỗi chu kỳ (1,089 lần so với 1,011 lần ở khoảng 10.500 token), và với những model hoàn toàn không có drafter nhỏ.

### BroadNet có dùng adapter này cho API Gemma 4 không?

Trang model của BroadNet cho biết bản Gemma 4 26B của họ được phục vụ bằng speculative decoding dự đoán đa token (k=2). Adapter Uno được công bố như một sản phẩm nghiên cứu; BroadNet không nói họ dùng nó để phục vụ lưu lượng API.

### Có tải adapter về được không?

Có. BroadNet công bố nó trên Hugging Face với tên Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, kèm profile phục vụ và container image trong bản phát hành vllm-uno v0.3.0.

## Đọc tiếp

-   [Uno trong vLLM: nghiên cứu phục vụ của BroadNet đã đo những gì](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Những model BroadNet đã đánh giá và loại bỏ, kèm lý do](https://broadrouter.com/vi/blog/models-broadnet-ruled-out/)
-   [Khi nào context window 1M token đáng dùng (và khi nào không)](https://broadrouter.com/vi/blog/million-token-context-window-guide/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Đưa bước người duyệt vào quy trình AI xử lý tài liệu](https://broadrouter.com/vi/blog/document-review-queues/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Nguồn**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, preprint Zenodo v2.3, 2026-09-18 (truy cập bản ghi ngày 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog BroadNet, Uno for vLLM now runs mixture-of-experts models (17 tháng 9 năm 2026; truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: các phát hiện chính (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/research)
-   [Bản phát hành vllm-uno v0.3.0 (truy cập ngày 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Trang model BroadNet Gemma 4 VL 26B: cấu hình phục vụ (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
