BroadRouter

전문가 혼합(MoE, mixture of experts)

업데이트

전문가 혼합(MoE, mixture of experts)은 한 레이어에 여러 전문가 서브네트워크를 두고, 학습된 라우터가 각 토큰을 그중 몇 개에만 보내는 신경망 설계입니다. MoE 언어 모델은 전체 파라미터 수는 크지만 토큰마다 작은 활성 부분집합만 사용합니다.

다른 이름: MoE, MoE 모델, 전문가 혼합 모델, 혼합 전문가, 희소 MoE, 활성 파라미터, mixture of experts, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

밀집(dense) 모델은 모든 토큰에 대해 모든 가중치를 실행합니다. 전문가 혼합 모델은 라우터가 고른 몇 개의 전문가만 실행합니다.

작동 방식

Shazeer 외는 2017년에 희소 게이트 MoE 레이어를 소개했습니다. 최대 수천 개의 피드포워드 서브네트워크를 두고, “a trainable gating network”(번역: 학습 가능한 게이팅 네트워크)가 입력마다 “a sparse combination of these experts”(번역: 이 전문가들의 희소한 조합)를 고르는 방식입니다. 현대 트랜스포머에서는 일부 레이어의 피드포워드 블록이 전문가 집합이 됩니다. 라우터는 토큰마다 전문가들에 점수를 매기고 상위 몇 개로 토큰을 보냅니다. 모든 토큰이 쓰는 공유 전문가를 추가하는 설계도 있습니다.

두 모델 카드가 수치를 보여 줍니다.

모델 전체 파라미터 토큰당 활성 전문가
Gemma 4 26B A4B(Google) 25.2B 3.8B 128개 중 8개 활성, 공유 1개 추가
DeepSeek V4.1 Flash(DeepSeek) 552B 백본 프리필 8B, 디코드 16B 라우팅 384개 중 6개, 공유 1개 추가

Google 모델 카드에 따르면 26B A4B 모델은 “runs almost as fast as a 4B-parameter model.”(번역: 40억 파라미터 모델과 거의 같은 속도로 실행됩니다)

왜 중요한가

  • 토큰당 속도와 가격은 활성 파라미터를 따릅니다. 각 토큰에 필요한 연산이 그만큼이기 때문입니다. MoE 모델이 크면서도 서빙 비용이 낮을 수 있는 이유입니다.
  • 메모리는 전체 파라미터를 따릅니다. 모든 전문가가 GPU 메모리에 올라가 있어야 하므로, MoE 모델은 전체 크기가 같은 밀집 모델만큼 가중치 공간이 필요합니다. 이를 맞추는 흔한 방법이 양자화입니다.
  • 품질은 두 수치 중 어느 쪽과도 깔끔하게 비례하지 않습니다. 파라미터 수가 아니라 내 작업으로 모델을 비교하세요.

BroadNet Inference에서는

BroadNet은 BroadNet Gemma 4 VL 26B를 broadnet/gemma-4-26b-a4b 모델 ID로 서빙하며, Google의 Gemma 4를 기반으로 한다고 설명합니다. 모델 카탈로그에는 프로덕션 빌드가 AWQ 4비트 가중치와 멀티 토큰 예측을 쓰는 Gemma 4 26B A4B로 나와 있습니다. 요금은 100만 토큰당 입력 $0.10, 출력 $0.22 요금이며, 시간제 키에 쓰이는 모델입니다. Gemma 4 VL 26B를 참고하세요.

DeepSeek V4.1 Flash는 BroadNet의 1,048,576토큰 컨텍스트 모델이며, 정액 플랜에서 쓸 수 있는 유일한 모델입니다. 이 모델의 MoE 설계는 BroadNet이 아니라 DeepSeek이 문서화한 것입니다. 오픈 모델을 하나의 범주로 비교하려면 오픈 웨이트 모델과 오픈 웨이트 모델과 폐쇄형 모델 비교를 참고하세요.

자주 묻는 질문

Gemma 4 26B A4B에서 A4B는 무슨 뜻인가요?

Google 모델 카드에 따르면 "A"는 활성(active) 파라미터를 뜻합니다. 이 모델은 전체 파라미터가 252억(25.2B) 개이지만 토큰마다 약 38억(3.8B) 개만 활성화합니다.

DeepSeek V4.1 Flash는 MoE 모델인가요?

네. DeepSeek 모델 카드는 이 모델을 백본 파라미터 5,520억(552B) 개, MoE 레이어마다 공유 전문가 1개와 라우팅 전문가 384개, 토큰당 활성 라우팅 전문가 6개를 갖춘 멀티모달 MoE 모델로 설명합니다.

MoE 모델은 메모리를 덜 쓰나요?

아닙니다. 어떤 토큰이든 어느 전문가로든 라우팅될 수 있으므로 모든 전문가를 메모리에 올려야 합니다. MoE가 아끼는 것은 토큰당 연산이지 가중치 메모리가 아닙니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기