BroadRouter

Những model BroadNet đã đánh giá và loại bỏ, kèm lý do

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày · Cập nhật

Danh mục model của BroadNet đánh dấu khoảng 30 model và phương pháp bị loại sau khi thử trong lab của mình. Năm nhóm lý do chính là: thua model mạnh hơn ở cùng việc, bài kiểm tra an toàn thông tin xác thực, giấy phép cấm phục vụ qua API, định dạng lượng tử hóa thua khi so trực tiếp, và giảm chất lượng tiếng Ả Rập. Số liệu do BroadNet đo tháng 9/2026.

Danh mục model của BroadNet liệt kê mọi model mà BroadNet cho biết đã chạy, benchmark, lượng tử hóa hoặc fine-tune trên phần cứng riêng, và đánh dấu những model bị loại kèm lý do. Khoảng 30 model và phương pháp mang nhãn RULED OUT (bị loại). Các số liệu dưới đây được đo trong phòng lab của BroadNet vào tháng 9 năm 2026; đó là kết quả của BroadNet, không phải của chúng tôi.

Danh mục dùng sáu nhãn: PROD (đã chạy traffic thật), SERVED (theo lời danh mục, “ran on our fleet” (bản dịch: đã chạy trên hạ tầng của chúng tôi)), BENCH (đã benchmark), QUANT (BroadNet tự lượng tử hóa), FT (BroadNet đã fine-tune) và RULED OUT (bị loại).

BroadNet đã loại những model chat nào?

Model BroadNet đã làm gì Vì sao bị loại
Qwen3.5 35B A3B (AWQ 4-bit) Phục vụ như một tầng tốc độ, khoảng 164 tokens/s Không đạt bộ kiểm tra an toàn thông tin xác thực của BroadNet cho vai trò bảo mật
GLM 4.7 Flash (AWQ) Phục vụ thử nghiệm Nhãn là SERVED, không phải RULED OUT: BroadNet cho biết nó bị loại khỏi vai trò bảo mật do bộ kiểm tra an toàn thông tin xác thực và bị giữ dưới mức production
Nemotron 3 Nano 30B A3B (NVFP4) Phục vụ với parser suy luận tùy chỉnh Nhãn là SERVED, không phải RULED OUT: BroadNet cho biết nó bị loại khỏi vai trò bảo mật do bộ kiểm tra an toàn thông tin xác thực và bị giữ dưới mức production
Qwen3.6 35B A3B Phục vụ trên RTX 5090 và GB10 Thua Gemma 4 26B ở vị trí chatbot
Gemma 4 E4B (AWQ INT4) Phục vụ trên GB10 dưới dạng đồng thuê, khoảng 94 tokens/s Thua Gemma 4 26B ở vị trí chatbot
Gemma 4 26B A4B NVFP4 (ba nhà phát hành) Đánh giá lượng tử hóa Bị thay bằng AWQ sau khi so trực tiếp trên GPU sm_120 và sm_121
Speculative decoding EAGLE3 Thử cho phục vụ ở mức bão hòa Mất 69% thông lượng ở 32 request đồng thời; giữ lại các drafter dự đoán nhiều token

Quy luật này quan trọng với bất kỳ ai đang chọn model mở. Ba trường hợp bị loại là vì an toàn, không phải chất lượng: model đủ nhanh nhưng lặp lại thông tin xác thực. Đó là kiểu thất bại mà nghiên cứu Safety Map của BroadNet thấy nhiều nhất ở các model mixture-of-experts có ít tham số kích hoạt. Model giành vị trí chatbot, Gemma 4 26B A4B, chính là model BroadNet bán dưới tên Gemma 4 VL 26B.

Những model giọng nói nào bị loại?

Model Vì sao bị loại
Gemma 4 E2B, Gemma 4 12B (làm model chép lời) Giữ lại biến thể âm thanh E4B
Omnilingual ASR 300M, 1B, 3B và các biến thể CTC (Meta) Biến thể 7B giành vị trí
Voxtral Mini 3B / 4B Realtime (Mistral) Bị loại cho tiếng Ả Rập
ArTSTv3 (dòng MBZUAI) Bị loại ở vị trí tiếng Ả Rập; giữ Cohere Transcribe Arabic
FireRedVAD, DeepFilterNet, BNR (front-end) Chọn Silero voice activity detection sau khi so trực tiếp

BroadNet cho biết model được giữ lại, Cohere Transcribe Arabic 07-2026, đạt tỷ lệ lỗi từ 21,1 trên giọng nói phương ngữ MASC, so với 22,3 của ElevenLabs Scribe v2 và 31,5 của Whisper large-v3, trong bài kiểm tra riêng của họ. BroadNet phục vụ model này dưới tên BroadNet Transcribe Arabic. Danh mục cũng cho biết Whisper large-v3 được benchmark làm phương án dự phòng.

Những model tài liệu, embedding và hình ảnh nào bị vượt mặt?

OCR và phân tích tài liệu

  • LlamaParse, API đang dùng trước đó, đạt 16,6 trên tập con OmniDocBench của BroadNet. BroadNet loại nó vì “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (bản dịch: nó làm mất bảng, và tự host rẻ hơn 98% cho mỗi 1.000 trang).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 và Nanonets OCR2 được đánh giá và bị loại; Nanonets vì điều khoản giấy phép. dots.mocr được giữ làm lựa chọn production vì nó vừa phân tích vừa mô tả được hình, dù PaddleOCR-VL 1.6 đạt điểm cao hơn (94,74 so với 86,81).

Embedding

  • gemini-embedding-2 bị loại cho tiếng Ả Rập sau khi kém hơn gemini-embedding-001 (0,767 so với 0,824 trên benchmark truy xuất của BroadNet).
  • nomic-embed-text v1.5, model đang dùng trước đó, đạt 0,468 tổng thể và 0,130 với tiếng Ả Rập, và đã bị cho nghỉ.
  • Octen 8B, Harrier 0.6B và Nemotron Embed 1B được phục vụ rồi bị loại trên traffic tiếng Ả Rập thật, “where our podium held despite their public-board wins” (bản dịch: nơi nhóm dẫn đầu của chúng tôi vẫn giữ vững dù chúng thắng trên bảng công khai).

BroadNet bổ sung một phát hiện còn quan trọng hơn việc chọn model: một chỉ dẫn truy vấn riêng cho khối lượng công việc làm chất lượng truy xuất (nDCG) thay đổi 0,048, nhiều hơn cả việc chuyển từ model embedding 4B lên 8B.

Tạo ảnh và an toàn

  • Cosmos3 Super 64B và HunyuanImage 3.0 80B bị loại vì độ vừa phần cứng và điều khoản giấy phép.
  • openai/privacy-filter 1.5B bắt được 100% thông tin xác thực nhưng 0% số liệu lương trong bộ dữ liệu rò rỉ của BroadNet, nên bị loại khỏi vai trò tường lửa.

Có thể học được gì từ những lần loại bỏ?

Bốn bài học đúng cả ngoài hệ thống của BroadNet:

  1. Kiểm tra công việc, không phải bảng xếp hạng. Nhiều model embedding thắng trên bảng công khai đã thua trên traffic tiếng Ả Rập thật.
  2. An toàn là một cổng riêng. Một model nhanh, giỏi vẫn có thể trượt bài kiểm tra thông tin xác thực. Hãy chạy một bài kiểm tra trước khi model nhìn thấy bí mật; phương pháp đánh giá của BroadNet là một điểm khởi đầu.
  3. Giấy phép quyết định thứ gì được phục vụ. Model phi thương mại như Voxtral 4B TTS và Higgs Audio v3 chỉ xuất hiện trong danh mục như mức trần chất lượng.
  4. Lựa chọn cách phục vụ cũng được đo. Định dạng lượng tử hóa và phương pháp drafting bị loại dựa trên số liệu so trực tiếp, không phải theo mặc định. Xem phần cứng GPU và cách phục vụ của BroadNet.

Mọi con số ở đây đến từ phòng lab và traffic của một công ty. Hãy dùng chúng như danh sách rút gọn những gì cần thử, rồi đánh giá trên dữ liệu của bạn trước khi đổi. Một dòng bị loại hoặc chỉ benchmark cũng không phải thứ bạn gọi được qua API; cách đọc danh mục model giải thích cách phân biệt mục đang chạy, theo yêu cầu và nghiên cứu.

Câu hỏi thường gặp

Vì sao BroadNet công bố cả những model bị loại?

Danh mục cho biết BroadNet công bố “what we rule out as carefully as what we ship” (bản dịch: những gì chúng tôi loại bỏ cũng cẩn thận như những gì chúng tôi đưa vào sản phẩm), để người mua thấy lập luận đằng sau mỗi khuyến nghị. Một lần loại bỏ kèm lý do là bằng chứng bạn có thể kiểm tra với khối lượng công việc của mình.

"Bị loại" có nghĩa là model đó kém không?

Không. Phần lớn các lần loại là cho một vị trí trong pipeline riêng của BroadNet, trên cấu hình và traffic mà BroadNet công bố. Qwen3.6 35B A3B và Gemma 4 E4B thua Gemma 4 26B ở vị trí chatbot; chúng vẫn có thể hợp với công việc của bạn.

Bộ kiểm tra an toàn thông tin xác thực là gì?

Đó là bài kiểm tra của BroadNet xem model có lặp lại thông tin xác thực mà nó nhìn thấy hay không, dựa trên phương pháp đánh giá dữ liệu nhạy cảm đã công bố. Model không đạt sẽ bị giữ dưới mức production cho các vai trò bảo mật.

Vì sao giấy phép lại khiến model bị loại?

Một số model mạnh, như Voxtral 4B TTS và Higgs Audio v3, chỉ cho phép dùng phi thương mại, nên BroadNet chỉ benchmark chúng làm mức trần chất lượng và không thể phục vụ chúng qua API trả phí.

Các model bị loại có dùng được trên BroadNet Inference không?

Không. API bán sáu model, và thêm ba model có sẵn theo yêu cầu. Các model được đánh dấu bị loại không được cung cấp.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity