---
title: "Phần cứng GPU và cách phục vụ model của BroadNet | BroadRouter"
description: "Những gì BroadNet nói về phần cứng đằng sau BroadNet Inference: ba tầng GPU từ B300 đến thiết bị tại chỗ khách hàng, thông lượng mỗi GPU và bài học từ thử nghiệm."
url: https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (cập nhật ngày 2026-11-16).

# Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

BroadNet nói họ chạy một stack phục vụ duy nhất trên ba tầng phần cứng: GPU trung tâm dữ liệu từ A100 đến B300, tầng workstation gồm card RTX và DGX Spark gánh API công khai luôn hoạt động, và thiết bị đặt tại chỗ khách hàng. Họ báo cáo đã chạy khoảng 270 model trên 13 dòng GPU, cả NVIDIA lẫn AMD. Một số model API do đối tác inference tại Mỹ phục vụ.

## Ý chính

-   Ba tầng, một stack: trung tâm dữ liệu (B300, B200, H200, H100, A100), workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) và tại chỗ khách hàng.
-   BroadNet nói tầng workstation gánh API công khai luôn hoạt động; GPU trung tâm dữ liệu lo việc phục vụ model flagship, fine-tuning và endpoint riêng.
-   Phát hiện đo được của họ: trên cùng model, NVIDIA CUDA biến băng thông bộ nhớ thành token nhiều gấp khoảng hai lần AMD ROCm.
-   Cách phục vụ quan trọng ngang trọng số: BroadNet báo cáo cùng trọng số Gemma 4 26B đạt điểm thấp hơn 0,13 tại một nhà cung cấp hosting so với cách phục vụ mà họ gọi là của chính mình.
-   Không phải model API nào cũng chạy trên phần cứng mà BroadNet nói là của mình: điều khoản của BroadNet nói DeepSeek V4.1 Flash do đối tác host.

**Trong trang này**

1.  BroadNet nói họ chạy phần cứng gì?
2.  Những model API nào chạy trên đó?
3.  Mỗi GPU nhanh đến đâu?
4.  BroadNet nói phần cứng đã dạy họ điều gì?
5.  Model Gemma 4 được phục vụ như thế nào?
6.  Điều này có ý nghĩa gì với bạn?

BroadNet mô tả phần cứng inference của họ chi tiết một cách hiếm thấy. [Danh mục model](https://www.broadnet.ai/inference/models) của họ liệt kê các GPU mà họ nói đang chạy, thông lượng đo được trên từng card, và những gì họ học được khi chạy cùng model trên các card đó. Trang này tóm tắt những gì BroadNet nói, dùng nguyên lời họ ở những chỗ quan trọng. Chúng tôi chưa kiểm tra phần cứng, và các số đo là của chính BroadNet, từ tháng 9 năm 2026.

## BroadNet nói họ chạy phần cứng gì?

BroadNet nói họ vận hành “one fleet, three tiers, one stack” (bản dịch: một đội máy, ba tầng, một stack): cùng engine, cùng định dạng lượng tử hóa và cùng gateway, từ bộ tăng tốc trong trung tâm dữ liệu đến thiết bị đặt tại chỗ khách hàng.

| Tầng | GPU BroadNet liệt kê | BroadNet dùng vào việc gì |
| --- | --- | --- |
| Trung tâm dữ liệu | B300, B200, H200, H100, A100 80 GB | Phục vụ model flagship, lượng tử hóa và hiệu chỉnh, fine-tuning, endpoint riêng chuyên dụng, bố trí theo yêu cầu lưu trú dữ liệu |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | API công khai luôn hoạt động, benchmark trên CUDA và ROCm, phát triển model |
| Tại chỗ khách hàng | DGX Spark GB10, thiết bị AMD nhỏ gọn | Triển khai on-premise và air-gapped trên cùng một stack |

Tổng cộng BroadNet báo cáo đã chạy khoảng 270 model, nạp khoảng 200 checkpoint, khoảng 40 dòng model, từ 12 định dạng lượng tử hóa trở lên và 13 dòng GPU. Họ cũng nói “a single H100 serves the entire current public catalogue with headroom” (bản dịch: một H100 duy nhất phục vụ toàn bộ danh mục công khai hiện tại mà vẫn còn dư).

## Những model API nào chạy trên đó?

Không phải tất cả. [Tuyên bố quyền riêng tư](https://www.broadnet.ai/inference-privacy) của BroadNet nói các model riêng và model open-weight họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Mỹ, với năng lực của đối tác làm dự phòng, còn các model do đối tác phục vụ chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Mỹ. [Điều khoản dịch vụ](https://www.broadnet.ai/terms) của họ nêu tên [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) là model do đối tác host.

Những gì các trang của BroadNet nói theo từng model:

| Model trên API | Phần cứng BroadNet nêu |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) | GPU lớp NVIDIA Blackwell kèm bản dự phòng nóng |
| [Transcribe Arabic](https://broadrouter.com/vi/models/cohere-transcribe-arabic/) và [Transcribe](https://broadrouter.com/vi/models/cohere-transcribe/) | GPU NVIDIA do BroadNet vận hành tại Mỹ |
| DeepSeek V4.1 Flash | Do đối tác host (Điều khoản dịch vụ §7.3) |
| GLM 5.3, Qwen3.8 27B | Không nêu cho lưu lượng API |

Nếu nơi dữ liệu được xử lý là điều quan trọng, hãy hỏi BroadNet trước khi gửi. Trang inference của họ nói có thể xử lý tại khu vực MENA hoặc châu Âu khi có yêu cầu.

## Mỗi GPU nhanh đến đâu?

BroadNet công bố thông lượng đầu ra tổng hợp mỗi GPU cho một model, Qwen3-VL 30B A3B Instruct với 32 request đồng thời:

| GPU | Tầng | Băng thông bộ nhớ | Tổng token/giây |
| --- | --- | --- | --- |
| B300 | Trung tâm dữ liệu | 8.000 GB/s | 14.500 |
| B200 | Trung tâm dữ liệu | 8.000 GB/s | 14.000 |
| H200 | Trung tâm dữ liệu | 4.800 GB/s | 8.400 |
| H100 | Trung tâm dữ liệu | 3.350 GB/s | 5.800 |
| A100 80 GB | Trung tâm dữ liệu | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |

BroadNet lưu ý rằng số liệu trung tâm dữ liệu là “planning numbers from our measured per-GPU curve” (bản dịch: số liệu lập kế hoạch từ đường cong mỗi GPU mà chúng tôi đã đo), không phải đo trực tiếp trên từng card. Phần lớn các hàng tăng theo băng thông bộ nhớ, giới hạn thường gặp khi decode, nhưng không phải tất cả: DGX Spark GB10 (273 GB/s) gần bằng RTX 3090 (936 GB/s), còn Radeon AI PRO R9700 (640 GB/s) xếp sau cả hai.

## BroadNet nói phần cứng đã dạy họ điều gì?

Danh mục liệt kê tám phát hiện, mỗi phát hiện đều ghi “measured on our own hardware” (bản dịch: đo trên phần cứng của chính chúng tôi). Những phát hiện quan trọng nhất với người mua API:

-   **CUDA so với ROCm.** Chạy cùng model trên NVIDIA CUDA và AMD ROCm, CUDA biến băng thông bộ nhớ thành token nhiều gấp khoảng hai lần, nên BroadNet bố trí workload theo đó.
-   **Speculative decoding khi tải cao.** EAGLE3 làm mất 69% thông lượng ở 32 request đồng thời, nên BroadNet giữ các drafter multi-token prediction. [Nghiên cứu phục vụ Uno](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/) đo cùng hiệu ứng này với một phương pháp khác.
-   **Cách phục vụ quan trọng ngang trọng số.** Cùng trọng số Gemma 4 26B khi được một nhà cung cấp hosting phục vụ đạt điểm trung bình thấp hơn 0,13 so với cách phục vụ mà BroadNet gọi là “our own serving” (bản dịch: cách phục vụ của chính chúng tôi). Quy tắc của BroadNet: đặt model thách thức và baseline của nó trên cùng cách phục vụ trước khi so sánh.
-   **Model có ít tham số hoạt động hơn vẫn có thể thắng.** Model mixture of experts 26B vượt Gemma 4 31B dạng dense ở 5 trên 6 bước của pipeline, với khoảng một phần tám số tham số hoạt động.
-   **Ngang model hàng đầu trên một pipeline.** Trong một đánh giá mù gồm 240 trace, Gemma 4 do BroadNet phục vụ ngang Claude Sonnet ở năm trên sáu bước được đo, với phản hồi mỗi bước nhanh hơn 1,2 đến 6,5 lần.
-   **Tốc độ mỗi request.** Theo đo đạc của BroadNet, Qwen3-VL 30B A3B chạy 36,5 đến 110 token mỗi giây mỗi request trên cách phục vụ mà BroadNet mô tả là của chính họ, so với 7 đến 19 ở bốn nhà cung cấp trên OpenRouter mà BroadNet đã đo.
-   **Kiến trúc quan trọng hơn lựa chọn model.** Trên một bộ dữ liệu khó mà hai model vision cục bộ bất đồng, việc chuyển lên một model phân xử được host đã nâng độ chính xác từ 1 trên 12 lên 11 trên 12.

So sánh với Sonnet là tuyên bố mạnh nhất, và phạm vi của nó hẹp: pipeline chatbot của một công ty, được ba giám khảo chấm mù, trên 240 cuộc hội thoại production từ 11 tenant, theo [trang Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) của BroadNet. Nó không có nghĩa Gemma 4 ngang Sonnet nói chung. BroadNet chưa công bố báo cáo đầy đủ về đánh giá này trên trang nghiên cứu.

## Model Gemma 4 được phục vụ như thế nào?

Theo trang model, Gemma 4 VL 26B của BroadNet là ví dụ rõ nhất cho các lựa chọn phục vụ của họ:

-   **Trọng số:** Gemma 4 26B A4B của Google, được BroadNet lượng tử hóa xuống AWQ 4-bit. BroadNet đã thử NVFP4 và loại bỏ nó sau một lần so sánh trực tiếp.
-   **Decode:** speculative decoding bằng multi-token prediction với hai token nháp (k=2), và [KV cache](https://broadrouter.com/vi/glossary/kv-cache/) fp8.
-   **Template:** chat template BroadNet tinh chỉnh cho quy trình hội thoại của họ.
-   **Khả năng chịu lỗi:** bản dự phòng nóng với failover tự động.
-   **Kết quả:** khoảng 136 token mỗi giây trên một stream đơn, và 90,86 điểm trên bộ kiểm tra chất lượng nội bộ của BroadNet.

Xem [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/) và [speculative decoding](https://broadrouter.com/vi/glossary/speculative-decoding/) để hiểu các thuật ngữ.

## Điều này có ý nghĩa gì với bạn?

Với người dùng trả theo mức dùng, các lựa chọn phục vụ của BroadNet thể hiện qua tốc độ được công bố, thường là khoảng 100 token mỗi giây trên model của gói, và qua các giới hạn: 30 request mỗi phút và 4 request đang xử lý mỗi key. Điều khoản của BroadNet nói gói tự phục vụ không có cam kết về tính sẵn sàng; mức dịch vụ chỉ đi kèm thỏa thuận bằng văn bản. [So sánh SLA của các nhà cung cấp khác](https://broadrouter.com/vi/blog/llm-api-sla-uptime-compared/).

Với nhu cầu lớn hơn, BroadNet cung cấp endpoint riêng trên GPU được dành riêng, với model, key, giới hạn và khu vực của bạn, và thiết bị on-premise trên cùng stack. Nếu bạn đang cân nhắc so với việc tự thuê GPU, [hướng dẫn chi phí tự host so với API](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) của chúng tôi đi qua phép tính, và [các model BroadNet đã loại](https://broadrouter.com/vi/blog/models-broadnet-ruled-out/) cho thấy họ chọn model để phục vụ như thế nào.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/)

Lượng tử hóa (quantization) là quá trình lưu các con số của mạng nơ-ron, chủ yếu là trọng số, ở định dạng độ chính xác thấp hơn như 8-bit hoặc 4-bit thay vì 16-bit, để model dùng ít bộ nhớ hơn và thường chạy nhanh hơn. Phương pháp tốt giữ mức suy giảm độ chính xác nhỏ.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/)

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[AWQ (activation-aware weight quantization)](https://broadrouter.com/vi/glossary/awq/)

AWQ (activation-aware weight quantization) là phương pháp lượng tử hóa sau huấn luyện, nén trọng số LLM xuống độ chính xác thấp, thường là số nguyên 4-bit. Nó dùng thống kê activation từ một tập hiệu chuẩn nhỏ để tìm kênh trọng số quan trọng nhất và scale chúng để bớt mất độ chính xác, không cần lan truyền ngược.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

## Câu hỏi thường gặp

### BroadNet có tự vận hành GPU không?

BroadNet nói họ vận hành đội GPU NVIDIA và AMD của riêng mình. Tuyên bố quyền riêng tư nói các model riêng và model open-weight họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Mỹ, với năng lực của đối tác làm dự phòng. Các model do đối tác phục vụ, như DeepSeek V4.1 Flash, chạy với các đối tác inference tại Mỹ.

### GPU nào phục vụ API công khai?

Danh mục của BroadNet đặt "the always-on public API" (API công khai luôn hoạt động) ở tầng workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Trang Gemma 4 nêu GPU lớp NVIDIA Blackwell kèm bản dự phòng nóng.

### Có SLA uptime được công bố không?

Với gói tự phục vụ thì không. Điều khoản dịch vụ của BroadNet nói gói tự phục vụ không có cam kết về tính sẵn sàng, và mức dịch vụ chỉ có trong một thỏa thuận bằng văn bản riêng, chẳng hạn cho endpoint riêng.

### Tôi có thể có GPU dành riêng không?

Có. BroadNet cung cấp endpoint riêng trên GPU hoặc node được dành riêng, với model bạn chọn, key và giới hạn riêng, và khu vực bạn cần. Giá được tính theo lưu lượng của bạn khi liên hệ.

### BroadNet có chạy model tại cơ sở của tôi được không?

BroadNet nói tầng tại chỗ khách hàng chạy cùng stack trên DGX Spark GB10 và các thiết bị AMD nhỏ gọn cho triển khai on-premise và air-gapped.

## Đọc tiếp

-   [Những model BroadNet đã đánh giá và loại bỏ, kèm lý do](https://broadrouter.com/vi/blog/models-broadnet-ruled-out/)
-   [Uno trong vLLM: nghiên cứu phục vụ của BroadNet đã đo những gì](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/)
-   [Uno trên Gemma 4 26B: nghiên cứu mixture-of-experts của BroadNet](https://broadrouter.com/vi/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Đưa bước người duyệt vào quy trình AI xử lý tài liệu](https://broadrouter.com/vi/blog/document-review-queues/)
-   [Hướng dẫn: Dùng thử BroadNet Inference ngay trên trình duyệt, không cần tài khoản](https://broadrouter.com/vi/guides/try-broadnet-inference-playground/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Nguồn**

-   [Danh mục model của BroadNet: năng lực, thông lượng mỗi GPU và phát hiện về phần cứng (đo tháng 9 năm 2026; truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models)
-   [Trang model Gemma 4 VL 26B của BroadNet: cấu hình phục vụ và đánh giá mù (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Tuyên bố quyền riêng tư của BroadNet Inference: nơi xử lý dữ liệu (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference-privacy)
-   [Điều khoản dịch vụ BroadNet, §7.3 và §7.4: đối tác host và tính sẵn sàng (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/terms)
-   [BroadNet Research: các phát hiện công khai từ phòng lab (truy cập ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/research)
