BroadRouter
Bắt đầu

Dùng OpenAI Python SDK với BroadNet Inference

Cập nhật

Để dùng OpenAI Python SDK với BroadNet Inference, hãy cài gói openai rồi tạo client với base_url là https://inference.broadnet.ai/v1 và api_key là key BroadNet của bạn. Mọi lệnh gọi chat.completions vẫn chạy nguyên như cũ; chỉ model ID thay đổi, ví dụ broadnet/deepseek-v4.1-flash. BroadNet cung cấp chat completions và transcriptions, không có Responses API.

Bạn cần một tài khoản BroadNet Inference và một inference key. Tài khoản mới được tặng $5 tín dụng ban đầu, không cần thẻ; tạo tài khoản tại inference.broadnet.ai. Console chỉ hiển thị key một lần và chỉ lưu giá trị hash của nó, nên hãy sao chép key thẳng vào biến môi trường.

1. Cài đặt và đặt key

Gói openai hiện tại (3.x) cần Python 3.10 trở lên.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Gửi request đầu tiên

Lưu đoạn sau thành first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Chạy bằng python first_request.py. Ví dụ này dùng broadnet/gemma-4-26b-a4b vì model này chạy được bằng tín dụng miễn phí. Các model chat khác dùng được sau khi nạp tiền.

3. Chuyển sang model bạn cần

Chỉ đổi model:

Bạn cần Model ID
Không giới hạn với gói giá cố định, context 1M broadnet/deepseek-v4.1-flash
Tools và structured output, context 1M broadnet/glm-5.3
Văn bản và hình ảnh tiếng Ả Rập broadnet/qwen3.8-27b
Giá thấp, chạy được bằng tín dụng miễn phí broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Hãy cho chúng 1.000 token trở lên. Đây là lý do giới hạn nhỏ trả về câu trả lời trống.

4. Stream câu trả lời

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Khi có include_usage, số token đến trong chunk cuối cùng, và chunk này không có choices. Hướng dẫn streaming trình bày cách xử lý khi kết nối bị ngắt.

5. Giữ lại request ID

Mọi phản hồi đều có header X-Request-ID. Hãy ghi log giá trị này: bộ phận hỗ trợ của BroadNet sẽ hỏi đến nó. Phản hồi đã parse cung cấp nó dưới dạng response._request_id. Để đọc nó cùng các header khác:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Ý nghĩa của từng mã lỗi và khi nào nên thử lại.

Xử lý sự cố

  • AuthenticationError (401). Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Hãy kiểm tra xem BROADNET_API_KEY đã được đặt trong tiến trình chạy code của bạn chưa.
  • NotFoundError (404). Kiểm tra rằng base_url kết thúc bằng /v1 và bạn gọi chat.completions, không phải responses. Sau đó kiểm tra model ID, có tiền tố broadnet/.
  • Model trả phí báo lỗi trên tài khoản mới. $5 tín dụng ban đầu dùng được cho BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) và hai model BroadNet Transcribe. Hãy nạp tiền để dùng các model chat khác: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B.
  • content trống. Phần suy luận được tính vào max_tokens. Hãy tăng lên 1.000 hoặc hơn. Vì sao câu trả lời trả về trống.
  • RateLimitError (429). Bạn đã vượt giới hạn mỗi phút hoặc giới hạn đồng thời. Theo mặc định SDK thử lại hai lần; đặt max_retries trên client để thay đổi.
  • Lỗi HTTP client tùy chỉnh sau khi nâng cấp. SDK 3.x dùng HTTPX2. Nếu bạn truyền http_client của riêng mình, hãy làm theo hướng dẫn chuyển đổi sang HTTPX2 của SDK.

Câu hỏi thường gặp

Tôi có cần một SDK khác không?

Không. BroadNet Inference dùng đúng cấu trúc chat completions và audio transcriptions của OpenAI, nên gói openai chính thức chạy được chỉ với một base_url khác.

Tôi có thể tiếp tục dùng OPENAI_API_KEY không?

Có thể, nhưng một biến BROADNET_API_KEY riêng giúp tránh vô tình gửi key của nhà cung cấp này sang nhà cung cấp khác.

SDK có đọc OPENAI_BASE_URL không?

Có. Nếu bạn không truyền base_url, client sẽ dùng OPENAI_BASE_URL. Đặt biến này thành https://inference.broadnet.ai/v1 và đặt OPENAI_API_KEY là key BroadNet của bạn, khi đó OpenAI() không cần tham số nào.

Có dùng client.responses.create với BroadNet được không?

Không. README của SDK giới thiệu Responses API trước tiên, nhưng tài liệu của BroadNet chỉ liệt kê chat completions và audio transcriptions. Hãy dùng client.chat.completions.create.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity