---
title: "什么是混合专家模型（MoE）？总参数与激活参数 | BroadRouter"
description: "MoE 大模型把每个 token 路由到少数几个专家子网络，只运行模型的一部分。总参数与激活参数的区别，附 Gemma 4 和 DeepSeek 示例。"
url: https://broadrouter.com/zh/glossary/mixture-of-experts/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/mixture-of-experts/)（2026-11-14 更新）。

# 混合专家模型（MoE）

更新于 2026-11-14

混合专家模型（MoE）是一种神经网络设计：一层中包含许多专家子网络，由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大，但每个 token 只使用一小部分激活参数。

又称： MoE、混合专家、混合专家架构、稀疏 MoE、稀疏专家模型、激活参数、mixture of experts、sparse MoE、mixture-of-experts model、sparse expert model、active parameters

稠密模型对每个 token 都运行全部权重。混合专家模型只运行路由器挑出的少数几个专家。

## 原理

Shazeer 等人在 2017 年提出了稀疏门控 MoE 层：最多可包含数千个前馈子网络，由 “a trainable gating network”（译文：一个可训练的门控网络）为每个输入选择 “a sparse combination of these experts”（译文：这些专家的一个稀疏组合）。在现代 Transformer 中，部分层的前馈块会变成一组专家。对每个 token，路由器给各个专家打分，并把 token 发送给得分最高的几个。有些设计还会加入一个所有 token 都会用到的共享专家。

两份模型卡片给出了具体数字：

| 模型 | 总参数 | 每个 token 激活 | 专家 |
| --- | --- | --- | --- |
| Gemma 4 26B A4B（Google） | 25.2B | 3.8B | 128 个中激活 8 个，另加 1 个共享专家 |
| DeepSeek V4.1 Flash（DeepSeek） | 主干 552B | 预填充阶段 8B，解码阶段 16B | 384 个路由专家中选 6 个，另加 1 个共享专家 |

Google 的卡片说，26B A4B 模型 “runs almost as fast as a 4B-parameter model”（译文：运行速度几乎与 4B 参数的模型一样快）。

## 为什么重要

-   **每个 token 的速度和价格**取决于激活参数，因为这就是每个 token 所需的计算量。这也是 MoE 模型能做到规模很大、部署成本却很低的原因。
-   **显存**取决于总参数。每个专家都必须放在 GPU 显存里，所以 MoE 模型存放权重所需的空间，和总参数相同的稠密模型一样多。[量化](https://broadrouter.com/zh/glossary/quantization/)是常见的压缩办法。
-   **质量**与这两个数字都没有简单的对应关系。请在你自己的任务上比较模型，而不是比较参数量。

## 在 BroadNet Inference 上

BroadNet 以模型 ID `broadnet/gemma-4-26b-a4b` 提供 BroadNet Gemma 4 VL 26B，并称它基于 Google 的 Gemma 4。其模型目录列出的生产版本是 Gemma 4 26B A4B，采用 AWQ 4-bit 权重和多 token 预测。价格为每百万 token 输入 $0.10、输出 $0.22，它也是按小时密钥所用的模型。参见 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/)。

[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 是 BroadNet 上下文长度为 1,048,576 token 的模型，也是固定价格套餐中唯一的模型。它的 MoE 设计由 DeepSeek 记录，而不是由 BroadNet。要从类别上比较开放模型，参见[开放权重模型](https://broadrouter.com/zh/glossary/open-weight-model/)和[开放权重模型与闭源模型对比](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)。

## 常见问题

### Gemma 4 26B A4B 里的 A4B 是什么意思？

Google 的模型卡片说，“A”代表激活参数（active parameters）。该模型总共有 25.2B 参数，但每个 token 只激活约 3.8B。

### DeepSeek V4.1 Flash 是混合专家模型吗？

是。DeepSeek 的模型卡片称它是多模态 MoE 模型，主干参数 552B，每个 MoE 层有 1 个共享专家和 384 个路由专家，每个 token 激活 6 个路由专家。

### MoE 模型需要的显存更少吗？

不会。所有专家都必须加载，因为任何 token 都可能被路由到其中任意一个。MoE 节省的是每个 token 的计算量，而不是存放权重的显存。

## 另请参阅

-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/)（术语）
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [GPU 小时（GPU-hour）](https://broadrouter.com/zh/glossary/gpu-hour/)（术语）
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)（指南）
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)（文章）
-   [编程智能体最佳开源模型：按工具、上下文和成本来选](https://broadrouter.com/zh/blog/best-open-model-for-coding-agents/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-mixture-of-experts&utm_content=page-cta) ·

**来源**

-   [Shazeer 等：Outrageously Large Neural Networks，稀疏门控混合专家层，arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google：Gemma 4 26B A4B 指令微调模型卡片](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek：DeepSeek-V4.1-Flash 模型卡片](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [BroadNet Inference API 参考：模型 ID（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-mixture-of-experts&utm_content=sources)
-   [BroadNet 模型目录（实验室测量，2026 年 9 月）（英文）](https://www.broadnet.ai/inference/models)
