---
title: "Mixture of experts (MoE) trong LLM là gì? | BroadRouter"
description: "LLM MoE định tuyến mỗi token qua vài mạng con expert, nên chỉ một phần model chạy. Tổng tham số và tham số active, với ví dụ Gemma 4 và DeepSeek."
url: https://broadrouter.com/vi/glossary/mixture-of-experts/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/mixture-of-experts/) (cập nhật ngày 2026-11-14).

# Mixture of experts (MoE)

Cập nhật 2026-11-14

Mixture of experts (MoE) là kiến trúc mạng nơ-ron trong đó một layer chứa nhiều mạng con expert và một router đã học chỉ gửi mỗi token tới vài expert trong số đó. Model ngôn ngữ MoE có tổng số tham số lớn nhưng mỗi token chỉ dùng một tập con active nhỏ.

Còn gọi là: MoE là gì, model MoE, kiến trúc MoE, hỗn hợp chuyên gia, tham số active, MoE, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Một model dense chạy mọi trọng số cho mọi token. Một model mixture-of-experts chỉ chạy vài expert mà router của nó chọn.

## Cách hoạt động

Shazeer và cộng sự giới thiệu layer MoE có cổng thưa (sparsely-gated) vào năm 2017: tới hàng nghìn mạng con feed-forward, với “a trainable gating network” (Bản dịch: một mạng cổng có thể huấn luyện) chọn “a sparse combination of these experts” (Bản dịch: một tổ hợp thưa của các expert này) cho mỗi đầu vào. Trong transformer hiện đại, khối feed-forward của một số layer trở thành một tập expert. Với mỗi token, router chấm điểm các expert và gửi token tới vài expert đứng đầu. Một số thiết kế thêm một expert dùng chung mà mọi token đều dùng.

Hai model card cho thấy các con số:

| Model | Tổng tham số | Active mỗi token | Expert |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 active trên 128, cộng 1 dùng chung |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B khi prefill, 16B khi decode | 6 được định tuyến trên 384, cộng 1 dùng chung |

Model card của Google nói model 26B A4B “runs almost as fast as a 4B-parameter model.” (Bản dịch: chạy gần nhanh bằng một model 4B tham số.)

## Vì sao quan trọng

-   **Tốc độ và giá mỗi token** đi theo số tham số active, vì đó là lượng tính toán mỗi token cần. Đó là cách một model MoE có thể lớn mà vẫn rẻ khi phục vụ.
-   **Bộ nhớ** đi theo tổng số tham số. Mọi expert đều phải nằm trong bộ nhớ GPU, nên model MoE cần nhiều chỗ cho trọng số như một model dense có cùng tổng kích thước. [Lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/) là cách phổ biến để vừa bộ nhớ.
-   **Chất lượng** không đi theo con số nào một cách rõ ràng. Hãy so sánh model trên tác vụ của bạn, không phải trên số tham số.

## Trên BroadNet Inference

BroadNet phục vụ BroadNet Gemma 4 VL 26B dưới ID model `broadnet/gemma-4-26b-a4b` và mô tả nó dựa trên Gemma 4 của Google. Danh mục model của họ ghi bản production là Gemma 4 26B A4B với trọng số AWQ 4-bit và multi-token prediction. Giá là $0.10 đầu vào và $0.22 đầu ra cho mỗi 1 triệu token, và đây là model đứng sau key theo giờ. Xem [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) là model context 1,048,576 token của BroadNet và là model duy nhất trong các gói giá cố định. Thiết kế MoE của nó do DeepSeek công bố, không phải BroadNet. Để so sánh các model mở như một nhóm, xem [model open-weight](https://broadrouter.com/vi/glossary/open-weight-model/) và [model open-weight và model đóng](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/).

## Câu hỏi thường gặp

### A4B trong Gemma 4 26B A4B nghĩa là gì?

Model card của Google nói “A” là viết tắt của active parameters (tham số active). Model có tổng cộng 25.2B tham số nhưng mỗi token chỉ kích hoạt khoảng 3.8B.

### DeepSeek V4.1 Flash có phải model mixture-of-experts không?

Có. Model card của DeepSeek gọi nó là model MoE đa phương thức với 552B tham số backbone, mỗi layer MoE có 1 expert dùng chung và 384 expert được định tuyến, và 6 expert được định tuyến active cho mỗi token.

### Model MoE có tốn ít bộ nhớ hơn không?

Không. Mọi expert đều phải được nạp, vì bất kỳ token nào cũng có thể được định tuyến tới bất kỳ expert nào. MoE tiết kiệm phép tính cho mỗi token, không tiết kiệm bộ nhớ cho trọng số.

## Xem thêm

-   [Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/) (thuật ngữ)
-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [GPU-hour (giờ GPU)](https://broadrouter.com/vi/glossary/gpu-hour/) (thuật ngữ)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/) (hướng dẫn)
-   [LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) (bài viết)
-   [Model mở tốt nhất cho coding agent: chọn theo tool, context và chi phí](https://broadrouter.com/vi/blog/best-open-model-for-coding-agents/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-mixture-of-experts&utm_content=page-cta) ·

**Nguồn**

-   [Shazeer và cộng sự, Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, model card Gemma 4 26B A4B bản instruction-tuned](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, model card DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Tài liệu tham chiếu API BroadNet Inference, ID model (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-mixture-of-experts&utm_content=sources)
-   [Danh mục model của BroadNet (đo trong phòng lab, tháng 9 năm 2026) (tiếng Anh)](https://www.broadnet.ai/inference/models)
