BroadRouter

BroadNet이 평가 후 탈락시킨 모델과 그 이유

BroadNet Inference 팀 · 4분 분량 · 게시 · 업데이트

BroadNet의 모델 카탈로그는 자체 랩에서 테스트한 뒤 약 30개의 모델과 기법을 탈락(RULED OUT)으로 표시합니다. 이유는 크게 다섯 가지입니다. 같은 작업에서 더 강한 모델에 밀림, 자격 증명 안전성 검사, API 제공을 막는 라이선스, 정면 비교에서 진 양자화 형식, 아랍어 성능 저하입니다. 모든 결과는 2026년 9월 BroadNet의 자체 측정값입니다.

BroadNet의 모델 카탈로그에는 BroadNet이 자체 하드웨어에서 운영, 벤치마크, 양자화, 파인튜닝했다고 밝힌 모든 모델이 올라 있고, 탈락시킨 모델에는 이유가 붙어 있습니다. 약 30개의 모델과 기법에 RULED OUT(탈락) 레이블이 붙어 있습니다. 아래 수치는 2026년 9월 BroadNet 랩에서 측정한 것이며, 저희가 아니라 BroadNet의 결과입니다.

카탈로그는 레이블 여섯 개를 씁니다. PROD(실제 트래픽 처리), SERVED(카탈로그 표현으로 “ran on our fleet”(번역: 자사 플릿에서 구동)), BENCH(벤치마크), QUANT(BroadNet이 양자화 제작), FT(BroadNet이 파인튜닝), RULED OUT(탈락)입니다.

BroadNet은 어떤 채팅 모델을 탈락시켰나요?

모델 BroadNet이 한 일 탈락 이유
Qwen3.5 35B A3B(AWQ 4-bit) 속도 티어로 운영, 약 164 tokens/s 보안 역할에 대한 BroadNet의 자격 증명 안전성 테스트에서 불합격
GLM 4.7 Flash(AWQ) 실험적으로 운영 레이블은 RULED OUT이 아니라 SERVED. BroadNet은 자격 증명 안전성 테스트로 보안 역할에서 탈락했고 프로덕션 아래 단계에 머문다고 밝힘
Nemotron 3 Nano 30B A3B(NVFP4) 맞춤 추론(reasoning) 파서로 운영 레이블은 RULED OUT이 아니라 SERVED. BroadNet은 자격 증명 안전성 테스트로 보안 역할에서 탈락했고 프로덕션 아래 단계에 머문다고 밝힘
Qwen3.6 35B A3B RTX 5090과 GB10에서 운영 챗봇 자리를 Gemma 4 26B에 내줌
Gemma 4 E4B(AWQ INT4) GB10에서 공동 테넌트로 운영, 약 94 tokens/s 챗봇 자리를 Gemma 4 26B에 내줌
Gemma 4 26B A4B NVFP4(배포자 3곳) 양자화 평가 sm_120, sm_121 GPU에서 정면 비교 후 AWQ로 대체되어 퇴역
EAGLE3 추측 디코딩 포화 상태 서빙용으로 테스트 동시 요청 32개에서 처리량 69% 손실. 다중 토큰 예측 드래프터는 유지

오픈 모델을 고르는 사람이라면 이 패턴을 눈여겨봐야 합니다. 탈락 중 세 건은 품질이 아니라 안전성 때문이었습니다. 충분히 빨랐지만 자격 증명을 반복한 모델들입니다. 이는 BroadNet의 Safety Map 연구에서 활성 파라미터가 작은 전문가 혼합(MoE) 모델에서 가장 자주 발견된 실패 유형입니다. 챗봇 자리를 차지한 Gemma 4 26B A4B는 BroadNet이 Gemma 4 VL 26B라는 이름으로 판매하는 모델입니다.

어떤 음성 모델이 탈락했나요?

모델 탈락 이유
Gemma 4 E2B, Gemma 4 12B(전사용) 대신 E4B 오디오 변형을 유지
Omnilingual ASR 300M, 1B, 3B 및 CTC 변형(Meta) 7B 변형이 자리를 차지
Voxtral Mini 3B / 4B Realtime(Mistral) 아랍어용으로 탈락
ArTSTv3(MBZUAI 계열) 아랍어 자리에서 탈락, Cohere Transcribe Arabic 유지
FireRedVAD, DeepFilterNet, BNR(프런트엔드) 정면 비교 후 Silero 음성 활동 감지(VAD) 채택

BroadNet은 자체 테스트에서 유지한 모델인 Cohere Transcribe Arabic 07-2026이 MASC 방언 음성에서 단어 오류율 21.1을 기록했고, ElevenLabs Scribe v2는 22.3, Whisper large-v3는 31.5였다고 보고합니다. BroadNet은 이 모델을 BroadNet Transcribe Arabic으로 제공합니다. 카탈로그에는 Whisper large-v3를 대체(fallback)용으로 벤치마크했다는 내용도 있습니다.

어떤 문서, 임베딩, 이미지 모델이 밀려났나요?

OCR과 문서 파싱

  • 기존에 쓰던 API인 LlamaParse는 BroadNet의 OmniDocBench 부분 집합에서 16.6점을 받았습니다. BroadNet은 “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(번역: 표를 놓치고, 자체 호스팅이 1,000페이지당 98% 더 저렴하다)는 이유로 탈락시켰습니다.
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0, Nanonets OCR2는 평가 후 탈락했고, Nanonets는 라이선스 조건 때문이었습니다. PaddleOCR-VL 1.6이 더 높은 점수(94.74 대 86.81)를 받았지만, 파싱과 그림 설명을 모두 하는 dots.mocr가 프로덕션용으로 채택되었습니다.

임베딩

  • gemini-embedding-2는 gemini-embedding-001보다 성능이 떨어져(BroadNet 검색 벤치마크에서 0.767 대 0.824) 아랍어용으로 탈락했습니다.
  • 이전에 쓰던 nomic-embed-text v1.5는 전체 0.468, 아랍어 0.130을 기록해 퇴역했습니다.
  • Octen 8B, Harrier 0.6B, Nemotron Embed 1B는 운영해 본 뒤 실제 아랍어 트래픽에서 탈락했습니다. “where our podium held despite their public-board wins”(번역: 이들이 공개 리더보드에서 이겼음에도 우리 상위권은 유지되었다).

BroadNet은 모델 선택보다 영향이 컸던 발견 하나를 덧붙입니다. 워크로드에 맞춘 쿼리 지시문이 검색 품질(nDCG)을 0.048 바꿨는데, 이는 4B 임베딩 모델에서 8B로 바꾼 것보다 큰 차이였습니다.

이미지 생성과 안전성

  • Cosmos3 Super 64B와 HunyuanImage 3.0 80B는 하드웨어 적합성과 라이선스 조건 때문에 탈락했습니다.
  • openai/privacy-filter 1.5B는 BroadNet의 유출 코퍼스에서 자격 증명은 100% 잡았지만 급여 수치는 0%를 잡아, 방화벽 용도에서 탈락했습니다.

탈락 사례에서 무엇을 배울 수 있나요?

BroadNet 자체 스택을 넘어서도 통하는 교훈 네 가지입니다.

  1. 리더보드가 아니라 작업을 테스트하세요. 공개 리더보드에서 이긴 여러 임베딩 모델이 실제 아랍어 트래픽에서는 졌습니다.
  2. 안전성은 별도의 관문입니다. 빠르고 유능한 모델도 자격 증명 테스트에서 떨어질 수 있습니다. 모델이 비밀 정보를 보기 전에 테스트를 돌리세요. BroadNet의 평가 방법이 출발점이 될 수 있습니다.
  3. 무엇을 제공할 수 있는지는 라이선스가 정합니다. Voxtral 4B TTS, Higgs Audio v3 같은 비상업용 모델은 카탈로그에 품질 상한선으로만 등장합니다.
  4. 서빙 방식도 측정 대상입니다. 양자화 형식과 드래프팅 기법은 기본값이 아니라 정면 비교 수치로 탈락했습니다. BroadNet의 GPU 하드웨어와 서빙 방식을 참고하세요.

여기 나온 모든 수치는 한 회사의 랩과 트래픽에서 나왔습니다. 무엇을 테스트할지 정하는 후보 목록으로 쓰고, 전환하기 전에 자신의 데이터로 평가하세요. 탈락이나 벤치마크로 표시된 행은 호출할 수 있는 모델도 아닙니다. 운영 중, 문의 시 제공, 연구용 항목을 구분하는 방법은 모델 카탈로그 읽는 법에서 설명합니다.

자주 묻는 질문

BroadNet은 왜 탈락시킨 모델을 공개하나요?

카탈로그에 따르면 BroadNet은 "what we rule out as carefully as what we ship"(번역: 출시하는 것만큼 탈락시킨 것도 신중하게) 공개하며, 구매자가 각 추천의 근거를 볼 수 있게 하려는 것입니다. 이유가 붙은 탈락은 자신의 워크로드로 검증해 볼 수 있는 근거가 됩니다.

"탈락"은 그 모델이 나쁘다는 뜻인가요?

아닙니다. 대부분의 탈락은 BroadNet 자체 파이프라인의 특정 자리 하나에 대한 것이며, BroadNet이 밝힌 환경과 트래픽 기준입니다. Qwen3.6 35B A3B와 Gemma 4 E4B는 챗봇 자리를 Gemma 4 26B에 내줬지만, 여러분의 작업에는 맞을 수도 있습니다.

자격 증명 안전성 테스트란 무엇인가요?

모델이 본 자격 증명을 그대로 반복하는지 검사하는 BroadNet의 테스트로, 공개된 민감 데이터 평가 방법을 바탕으로 합니다. 통과하지 못한 모델은 보안 역할에서 프로덕션 아래 단계에 머뭅니다.

라이선스 때문에 탈락하는 이유는 무엇인가요?

Voxtral 4B TTS, Higgs Audio v3 같은 일부 강력한 모델은 비상업용이라, BroadNet은 품질 상한선으로만 벤치마크하고 유료 API로는 제공할 수 없습니다.

탈락한 모델을 BroadNet Inference에서 쓸 수 있나요?

아닙니다. API는 모델 6개를 판매하고, 3개는 문의 시 제공됩니다. 탈락으로 표시된 모델은 제공되지 않습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기