Bạn cần một tài khoản BroadNet Inference và một inference key. Tài khoản mới được tặng $5 tín dụng ban đầu, không cần thẻ; tạo tài khoản tại inference.broadnet.ai. Console chỉ hiển thị key một lần và chỉ lưu giá trị hash của nó, nên hãy sao chép key thẳng vào biến môi trường.
1. Cài đặt và đặt key
Gói openai hiện tại (3.x) cần Python 3.10 trở lên.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Gửi request đầu tiên
Lưu đoạn sau thành first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
Chạy bằng python first_request.py. Ví dụ này dùng broadnet/gemma-4-26b-a4b vì model này chạy được bằng tín dụng miễn phí. Các model chat khác dùng được sau khi nạp tiền.
3. Chuyển sang model bạn cần
Chỉ đổi model:
| Bạn cần | Model ID |
|---|---|
| Không giới hạn với gói giá cố định, context 1M | broadnet/deepseek-v4.1-flash |
| Tools và structured output, context 1M | broadnet/glm-5.3 |
| Văn bản và hình ảnh tiếng Ả Rập | broadnet/qwen3.8-27b |
| Giá thấp, chạy được bằng tín dụng miễn phí | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Hãy cho chúng 1.000 token trở lên. Đây là lý do giới hạn nhỏ trả về câu trả lời trống.
4. Stream câu trả lời
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Khi có include_usage, số token đến trong chunk cuối cùng, và chunk này không có choices. Hướng dẫn streaming trình bày cách xử lý khi kết nối bị ngắt.
5. Giữ lại request ID
Mọi phản hồi đều có header X-Request-ID. Hãy ghi log giá trị này: bộ phận hỗ trợ của BroadNet sẽ hỏi đến nó. Phản hồi đã parse cung cấp nó dưới dạng response._request_id. Để đọc nó cùng các header khác:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Ý nghĩa của từng mã lỗi và khi nào nên thử lại.
Xử lý sự cố
AuthenticationError(401). Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Hãy kiểm tra xemBROADNET_API_KEYđã được đặt trong tiến trình chạy code của bạn chưa.NotFoundError(404). Kiểm tra rằngbase_urlkết thúc bằng/v1và bạn gọichat.completions, không phảiresponses. Sau đó kiểm tra model ID, có tiền tốbroadnet/.- Model trả phí báo lỗi trên tài khoản mới. $5 tín dụng ban đầu dùng được cho BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) và hai model BroadNet Transcribe. Hãy nạp tiền để dùng các model chat khác: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B. contenttrống. Phần suy luận được tính vàomax_tokens. Hãy tăng lên 1.000 hoặc hơn. Vì sao câu trả lời trả về trống.RateLimitError(429). Bạn đã vượt giới hạn mỗi phút hoặc giới hạn đồng thời. Theo mặc định SDK thử lại hai lần; đặtmax_retriestrên client để thay đổi.- Lỗi HTTP client tùy chỉnh sau khi nâng cấp. SDK 3.x dùng HTTPX2. Nếu bạn truyền
http_clientcủa riêng mình, hãy làm theo hướng dẫn chuyển đổi sang HTTPX2 của SDK.
