---
title: "Lập kế hoạch endpoint LLM riêng: cần xác định gì trước"
description: "Cần xác định gì trước khi yêu cầu endpoint LLM riêng: khối lượng công việc, token mỗi giây, đồng thời, context, khu vực, giấy phép, ngân sách, rồi cách kiểm thử."
url: https://broadrouter.com/vi/blog/private-endpoint-planning/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/private-endpoint-planning/) (cập nhật ngày 2026-11-15).

# Endpoint riêng bắt đầu từ một khối lượng công việc rõ ràng

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày 2026-11-15

Trước khi yêu cầu endpoint riêng, hãy ghi lại khối lượng công việc: số request mỗi ngày và lúc cao điểm, token vào và ra, mức đồng thời suy ra từ đó, context cần dùng, khu vực xử lý, model và giấy phép, cùng ngân sách. Thống nhất khu vực và giới hạn bằng văn bản, rồi smoke test endpoint được cấp trước khi dùng dữ liệu thật.

## Ý chính

-   Một yêu cầu năng lực chỉ tốt bằng các con số của nó: số request mỗi giây lúc cao điểm, token vào và ra, và độ trễ bạn chấp nhận được.
-   Mức đồng thời suy ra từ định luật Little: số request đang xử lý = tốc độ đến × thời gian mỗi request. Hãy đo thời gian mỗi request trên bản dùng thử trước.
-   BroadNet mô tả công khai endpoint riêng là năng lực GPU dành riêng, định giá theo traffic của bạn, với key, giới hạn và khu vực riêng, truy cập bằng model ID riêng. Mọi thứ khác đều thỏa thuận với BroadNet.
-   Điều khoản của BroadNet nói gói tự phục vụ không có cam kết về độ sẵn sàng, còn endpoint riêng và năng lực dành riêng tuân theo một thỏa thuận bằng văn bản riêng.
-   Kiểm tra endpoint được cấp trước khi đưa vào production: model ID, streaming, mức đồng thời đã thỏa thuận và lỗi khi model ID sai.

**Trong trang này**

1.  Khi nào endpoint riêng là hợp lý?
2.  Cần xác định gì về khối lượng công việc?
3.  Quy đổi khối lượng thành token mỗi giây và mức đồng thời như thế nào?
4.  Còn khu vực, lưu trú dữ liệu và giới hạn thì sao?
5.  Model nào, theo giấy phép nào?
6.  Đặt ngân sách như thế nào?
7.  Gửi yêu cầu liên hệ như thế nào?
8.  Kiểm tra endpoint được cấp như thế nào?
9.  BroadNet Inference phù hợp ở đâu?

“Chúng tôi cần một endpoint chuyên dụng” là khởi đầu của một cuộc trao đổi, không phải một bản đặc tả. Nhà cung cấp không thể định quy mô, chọn vị trí hay định giá năng lực khi không có các con số của bạn, và bạn cũng không thể đánh giá câu trả lời của họ nếu thiếu chúng. Bài này liệt kê những gì cần xác định trước khi hỏi, qua một ví dụ tính toán về trích xuất hóa đơn, và kết thúc bằng một script kiểm tra endpoint bạn được cấp.

Bài áp dụng cho mọi nhà cung cấp. Ở những chỗ mô tả dịch vụ của BroadNet, bài chỉ dựa trên những gì BroadNet nói công khai, kiểm tra ngày 15 tháng 11 năm 2026. Mọi thứ vượt ngoài đó là câu hỏi dành cho BroadNet.

## Khi nào endpoint riêng là hợp lý?

Thường vì một trong bốn lý do:

-   **Traffic vượt giới hạn tự phục vụ.** Tài liệu API của BroadNet công bố 30 request mỗi phút và 4 request đang xử lý cho một key trả theo mức dùng. Một khối lượng ổn định vượt mức đó là câu hỏi về năng lực, không phải về thử lại. ([Xử lý lỗi 429](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/) nói về các đợt tăng ngắn.)
-   **Model không có trong danh sách công khai.** Danh mục của BroadNet đánh dấu một số model là “available on request” (có sẵn theo yêu cầu), gồm Qwen3-VL 30B-A3B, Qwen3-VL 8B và một bản fine-tune Cohere Transcribe Arabic của BroadNet. [Cách đọc danh mục model](https://broadrouter.com/vi/blog/understand-model-status/) giải thích sự khác biệt.
-   **Địa điểm xử lý bạn phải kiểm soát.** Quy định lưu trú dữ liệu, như trong [checklist PDPL của Ả Rập Xê Út và UAE](https://broadrouter.com/vi/blog/saudi-uae-pdpl-llm-api-checklist/), có thể đòi hỏi một khu vực đã thỏa thuận bằng văn bản.
-   **Độ trễ dự đoán được.** Năng lực dùng chung dao động theo tải của người dùng khác. Năng lực dành riêng loại bỏ biến số đó, dù không loại bỏ khoảng cách mạng hay kích thước prompt của chính bạn.

Nếu không lý do nào áp dụng, một key tự phục vụ đơn giản hơn. Còn nếu khối lượng của bạn rất lớn và ổn định, hãy so sánh với việc tự vận hành: [chi phí tự host so với API](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) có phương pháp.

## Cần xác định gì về khối lượng công việc?

Hãy viết một bản tóm tắt một trang. Đây là những con số nhà cung cấp cần:

| Mục | Cần ghi gì | Ví dụ |
| --- | --- | --- |
| Nhiệm vụ | Model làm gì, trong một câu | Đọc ảnh hóa đơn, trả về các trường JSON |
| Khối lượng | Số request mỗi ngày, và tỷ trọng trong giờ bận nhất | 40.000 mỗi ngày, 15% trong giờ cao điểm |
| Token | Token vào và ra trung bình và ở bách phân vị thứ 95 | 1.800 vào (một ảnh trang + prompt), 350 ra |
| Context | Request đơn lớn nhất, prompt cộng câu trả lời | 4.000 token |
| Độ trễ | Thời gian tới token đầu tiên và tới câu trả lời đầy đủ chấp nhận được | Câu trả lời đầy đủ trong 10 giây |
| Streaming | Có cần hay không | Không cần (kiểu batch) |
| Đầu vào | Văn bản, hình ảnh, âm thanh; định dạng và kích thước | JPEG và PNG, mỗi tệp một trang |
| Ngôn ngữ | Những ngôn ngữ nào, và tỷ trọng mỗi ngôn ngữ | Tiếng Ả Rập và tiếng Anh, 60/40 |
| Tăng trưởng | Khối lượng dự kiến sau 6 và 12 tháng | Gấp đôi sau 12 tháng |

Hãy đo số token trên mẫu thật, đừng đoán. Tiếng Ả Rập thường cần nhiều token hơn tiếng Anh cho cùng một văn bản; [bộ đếm token tiếng Ả Rập](https://broadrouter.com/tools/arabic-token-counter/) và [chi phí thực theo ngôn ngữ](https://broadrouter.com/data/real-cost-by-language/) cho thấy chênh lệch bao nhiêu trên các tokenizer khác nhau. Với hình ảnh, [máy tính token hình ảnh](https://broadrouter.com/tools/image-token-calculator/) cho ước tính ban đầu.

## Quy đổi khối lượng thành token mỗi giây và mức đồng thời như thế nào?

Số request mỗi giây lúc cao điểm là khối lượng của giờ bận nhất chia cho 3.600. Mức đồng thời, tức số request đang xử lý cùng lúc, suy ra từ [định luật Little](https://en.wikipedia.org/wiki/Little%27s_law): số lượng trung bình trong một hệ thống bằng tốc độ đến nhân với thời gian trung bình mỗi phần tử ở trong đó. Với một API, đó là số request mỗi giây × số giây mỗi request.

```python
import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
```

Kết quả in ra: 1,67 request mỗi giây lúc cao điểm, khoảng 5,8 giây mỗi request, 10 request đồng thời, 3.000 token vào và 583 token ra mỗi giây, và 2.580 triệu token mỗi tháng. Con số 60 token mỗi giây là giả định cho ví dụ; hãy tự đo trên model bạn sẽ dùng, vì tốc độ thay đổi theo model, độ dài prompt và tải. Bài [độ trễ, TTFT và thông lượng](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) giải thích cần đo những gì.

Hai lưu ý. Công thức bỏ qua thời gian xử lý prompt, nên prompt dài hay ảnh lớn làm request thật chậm hơn và đẩy mức đồng thời lên. Và số trung bình che giấu các đợt tăng đột biến: hãy đưa cho nhà cung cấp kích thước request ở bách phân vị thứ 95 và hồ sơ một đợt tăng ngắn, không chỉ giá trị trung bình. Mức cao điểm trong ví dụ này (khoảng 100 request mỗi phút và 10 request đang xử lý) vượt xa giới hạn tự phục vụ công bố cho một key trả theo mức dùng, và đó chính là lúc đáng để trao đổi về năng lực.

## Còn khu vực, lưu trú dữ liệu và giới hạn thì sao?

Hãy thỏa thuận rõ ràng, bằng văn bản, trước khi bất kỳ dữ liệu chịu quản lý nào được chuyển đi. Điều khoản của BroadNet (§7.3a) ghi: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (bản dịch: Hãy liên hệ chúng tôi để thống nhất địa điểm xử lý cho triển khai của bạn trước khi gửi dữ liệu có yêu cầu lưu trú) và rằng việc xử lý do đối tác host và xử lý dự phòng có liên quan tới các bên xử lý khác, với danh sách bên xử lý phụ hiện hành cung cấp cho khách hàng khi được yêu cầu. Tuyên bố quyền riêng tư nói các model của BroadNet và model open-weight do BroadNet host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, với năng lực của đối tác làm dự phòng, và trang tổng quan nói việc xử lý theo khu vực ở MENA hoặc châu Âu có sẵn theo yêu cầu.

Vì vậy, các câu hỏi cho bất kỳ nhà cung cấp nào là:

1.  Khu vực nào xử lý request, và khu vực nào giữ năng lực dự phòng?
2.  Những bên xử lý phụ nào có thể chạm vào traffic, kể cả khi chuyển đổi dự phòng hoặc tràn tải?
3.  Giới hạn tốc độ, mức đồng thời và token của endpoint là gì, và điều gì xảy ra khi vượt?
4.  Điều khoản về độ sẵn sàng và hỗ trợ nào áp dụng, và chúng được ghi ở đâu? Điều khoản của BroadNet (§7.4) nói gói tự phục vụ không có cam kết về độ sẵn sàng, và endpoint riêng cùng năng lực dành riêng tuân theo thỏa thuận bằng văn bản riêng của bạn. Để xem SLA bằng văn bản của các nhà cung cấp khác bao gồm những gì, hãy đọc [so sánh SLA API LLM](https://broadrouter.com/vi/blog/llm-api-sla-uptime-compared/).
5.  Những gì được lưu giữ? Với API inference của BroadNet, lập trường công bố là: nội dung inference không được lưu giữ; siêu dữ liệu cần thiết về tài khoản, thanh toán và bảo mật được lưu giữ như mô tả trong [tuyên bố quyền riêng tư](https://www.broadnet.ai/inference-privacy). Hãy xác nhận điều tương tự áp dụng cho endpoint của bạn.

## Model nào, theo giấy phép nào?

Nêu chính xác model và phiên bản, và kiểm tra giấy phép cho phép mục đích sử dụng của bạn cũng như việc phục vụ qua API. Trang model của BroadNet ghi Apache-2.0 cho Gemma 4 26B, Qwen3-VL 30B-A3B và trọng số gốc Cohere Transcribe, còn bản fine-tune Cohere Transcribe Arabic của BroadNet thì “under contract” (theo hợp đồng). Điều khoản nói các model chịu sự điều chỉnh của giấy phép riêng, và giấy phép của DeepSeek V4.1 Flash vẫn áp dụng khi do đối tác host.

Hãy thỏa thuận cả cửa sổ context. Giới hạn context phụ thuộc vào model và cách triển khai, không chỉ vào mức tối đa của model gốc: BroadNet ghi 32K token cho Gemma 4 VL 26B trên API công khai và 16K cho Qwen3-VL 30B-A3B, model có sẵn theo yêu cầu. Dùng [máy tính cửa sổ context](https://broadrouter.com/tools/context-window-calculator/) với request lớn nhất của bạn, không phải request trung bình.

## Đặt ngân sách như thế nào?

BroadNet không công bố giá endpoint riêng; trang tổng quan ghi “Reserved GPU, priced to your traffic. Ask for a quote.” (bản dịch: GPU dành riêng, định giá theo traffic của bạn. Hãy yêu cầu báo giá.) Vì vậy hãy tự đặt mức trần trước. Tính giá cùng khối lượng công việc đó theo kiểu tự phục vụ bằng [máy tính chi phí API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/), dùng số token hằng tháng từ script ước tính quy mô, rồi quyết định năng lực dự đoán được, một khu vực hay một model không công khai đáng giá thêm bao nhiêu với bạn. Báo giá thấp hơn mức tự phục vụ là điểm cộng; báo giá cao hơn nhiều cần có lý do từ danh sách yêu cầu của bạn.

## Gửi yêu cầu liên hệ như thế nào?

Tài liệu API của BroadNet ghi: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (bản dịch: Endpoint riêng, các bản fine-tune tiếng Ả Rập của chúng tôi và các model theo yêu cầu khác được truy cập bằng ID riêng cấp kèm endpoint.) Trang tổng quan đề nghị cung cấp “your model, languages and traffic requirements” (bản dịch: model, ngôn ngữ và yêu cầu traffic của bạn). Gửi bản tóm tắt một trang qua [trang liên hệ](https://broadrouter.com/vi/contact/#private), không kèm API key hay dữ liệu khách hàng. Bao gồm kết quả ước tính quy mô, khu vực, model và giấy phép, mục tiêu độ trễ, mức trần ngân sách và mốc thời gian.

## Kiểm tra endpoint được cấp như thế nào?

Trước khi có traffic production, hãy kiểm tra endpoint theo những gì đã thỏa thuận. Script này chỉ dùng thư viện chuẩn của Python. Nó kiểm tra model ID riêng hoạt động, streaming kết thúc bằng dấu `data: [DONE]` như tài liệu BroadNet mô tả, mức đồng thời đã thỏa thuận chạy không có lỗi 429, và model ID sai bị từ chối.

```python
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())
```

Chúng tôi chạy nó với một mock server cục bộ (không phải endpoint thật) cho phép 8 request đang xử lý. Với `AGREED_CONCURRENCY=8`, cả bốn kiểm tra đều đạt. Với 12, kiểm tra đồng thời thất bại với tám mã 200 và bốn mã 429, đó là kết quả bạn muốn thấy trước khi ra mắt chứ không phải sau. `max_tokens=1000` chừa chỗ cho model suy luận, vốn dùng một phần ngân sách trước khi trả lời.

Sau smoke test, hãy chạy một bài load test ngắn ở mức cao điểm đã đo với prompt kích thước thật, và ghi lại thời gian tới token đầu tiên cùng độ trễ trả lời đầy đủ của endpoint. Giữ lại các request ID; tài liệu BroadNet yêu cầu `X-Request-ID`, timestamp, route và trạng thái trong các yêu cầu hỗ trợ.

## BroadNet Inference phù hợp ở đâu?

BroadRouter là trang web của chính BroadNet. BroadNet Inference bán quyền truy cập tự phục vụ vào các model công khai theo token, theo phút âm thanh, theo gói phiên và theo key tính giờ; giá có trên [trang giá](https://broadrouter.com/vi/pricing/). Endpoint riêng, xử lý theo khu vực, bản fine-tune và các model ghi “on request” (theo yêu cầu) không phải tự phục vụ: đó là các yêu cầu liên hệ mà BroadNet báo giá và thỏa thuận bằng văn bản. Bài này không thể cho bạn biết BroadNet sẽ đề xuất gì cho khối lượng công việc của bạn. Một bản tóm tắt rõ ràng là cách để tìm ra điều đó.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Bên xử lý phụ (subprocessor)](https://broadrouter.com/vi/glossary/subprocessor/)

Bên xử lý phụ (subprocessor) là bên thứ ba được bên xử lý thuê xử lý dữ liệu cá nhân thay bên kiểm soát. Với API LLM, đó có thể là GPU host, đối tác inference và capacity dự phòng. Theo Điều 28 GDPR, họ cần bên kiểm soát cho phép và chịu cùng nghĩa vụ bảo vệ dữ liệu.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

## Câu hỏi thường gặp

### Endpoint LLM riêng là gì?

Là một endpoint API chạy trên năng lực dành riêng cho một khách hàng, thay vì dùng chung với mọi người dùng tự phục vụ. BroadNet mô tả phiên bản của họ là GPU hoặc node dành riêng với model bạn chọn, key và giới hạn của riêng bạn, và khu vực bạn cần, truy cập bằng model ID riêng.

### Làm sao ước tính mức đồng thời tôi cần?

Dùng định luật Little: số request đồng thời = số request mỗi giây lúc cao điểm × số giây mỗi request. 1,67 request mỗi giây, mỗi request khoảng 5,8 giây, nghĩa là khoảng 10 request đang xử lý. Hãy đo số giây mỗi request trên model thật với prompt thật của bạn.

### Có mua endpoint riêng của BroadNet theo kiểu tự phục vụ được không?

Không. BroadNet đưa endpoint riêng, xử lý theo khu vực và model không niêm yết dưới dạng yêu cầu liên hệ: bạn mô tả khối lượng công việc và BroadNet báo giá. Điều khoản của họ nói endpoint riêng và năng lực dành riêng tuân theo một thỏa thuận bằng văn bản riêng.

### Endpoint riêng có đi kèm SLA không?

Chỉ khi thỏa thuận bằng văn bản của bạn ghi như vậy. Điều khoản của BroadNet nêu rằng gói tự phục vụ không có cam kết về độ sẵn sàng và mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng. Hãy hỏi điều khoản chính xác trước khi dựa vào chúng.

### Dữ liệu của tôi sẽ được xử lý ở đâu?

Hãy thỏa thuận trước khi gửi dữ liệu. Điều khoản của BroadNet yêu cầu khách hàng có yêu cầu lưu trú dữ liệu thống nhất địa điểm xử lý trước, và nói việc xử lý do đối tác host và xử lý dự phòng có liên quan tới các bên xử lý khác, với danh sách bên xử lý phụ cung cấp cho khách hàng khi được yêu cầu.

## Đọc tiếp

-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/)
-   [PDPL Ả Rập Xê Út và UAE với API LLM: checklist chuyển dữ liệu](https://broadrouter.com/vi/blog/saudi-uae-pdpl-llm-api-checklist/)
-   [Cách chọn nhà cung cấp API LLM: checklist 20 điểm](https://broadrouter.com/vi/blog/choose-llm-api-provider-checklist/)
-   [Cách ước tính chi phí API LLM trước khi ra mắt một tính năng](https://broadrouter.com/vi/blog/estimate-llm-api-cost-before-launch/)
-   [Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/)
-   [Live, theo yêu cầu, nghiên cứu: đọc danh mục model cho đúng](https://broadrouter.com/vi/blog/understand-model-status/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Hướng dẫn: Khóa API key vào server của bạn bằng danh sách IP cho phép](https://broadrouter.com/vi/guides/api-keys-ip-allow-lists/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-private-endpoint-planning&utm_content=page-cta) ·

**Nguồn**

-   [Tổng quan BroadNet Inference: endpoint riêng “Reserved GPU, priced to your traffic” (bản dịch: GPU dành riêng, định giá theo traffic của bạn), xử lý theo khu vực theo yêu cầu (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference)
-   [Danh mục model BroadNet: có sẵn theo yêu cầu, endpoint riêng nhiều GPU theo quy mô từng khách hàng (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models)
-   [Trang model BroadNet, Qwen3-VL 30B-A3B Instruct: theo yêu cầu, ID riêng cấp cho từng khách hàng, context 16K (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models/qwen3-vl-30b-a3b)
-   [Trang model BroadNet, Gemma 4 VL 26B: endpoint riêng với key, giới hạn và khu vực của bạn (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Điều khoản dịch vụ BroadNet, §7.3a địa điểm lưu trữ và xử lý, §7.4 độ sẵn sàng, cập nhật lần cuối ngày 23 tháng 9 năm 2026 (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/terms)
-   [Tài liệu API BroadNet Inference: ID riêng, giới hạn trả theo mức dùng, streaming, lỗi (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-private-endpoint-planning&utm_content=sources)
-   [Tuyên bố quyền riêng tư và lưu giữ dữ liệu của BroadNet Inference: nơi xử lý dữ liệu (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference-privacy)
-   [Định luật Little, L = λW (Wikipedia, kiểm tra ngày 2026-11-15)](https://en.wikipedia.org/wiki/Little%27s_law)
