BroadRouter
Bắt đầu

Nhà phát triển

Cập nhật

BroadNet Inference dùng cấu trúc request của OpenAI tại https://inference.broadnet.ai/v1. Tạo key trong console, lưu nó trong biến môi trường, rồi gửi request đến /chat/completions hoặc /audio/transcriptions với đúng ID model. Trước khi chuyển traffic production, hãy kiểm tra tham số, streaming, công cụ, giới hạn và lỗi của model đó.

Làm sao gửi request chat đầu tiên?

  1. Đăng nhập inference.broadnet.ai (tiếng Anh) và tạo một inference key. Key chỉ hiển thị một lần; console chỉ lưu giá trị hash của nó.
  2. Cài OpenAI SDK và đặt key trong shell. Giữ key trên server, không bao giờ để trong code chạy trên trình duyệt.
  3. Gửi request. Đọc câu trả lời từ choices[0].message.content.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Ví dụ dùng BroadNet Gemma 4 VL 26B, model mà tín dụng ban đầu US$5 chi trả được. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B cần nạp tiền trước. Hãy giữ header phản hồi X-Request-ID để gửi cho bộ phận hỗ trợ.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

Streaming

Đặt stream=true và đọc Server-Sent Events cho đến data: [DONE]. Với stream_options.include_usage, thông tin sử dụng token đến trong chunk cuối. Nếu stream kết thúc trước [DONE], hãy coi câu trả lời là chưa đầy đủ. BroadNet đề nghị kiểm tra streaming cho từng model trước khi dựa vào nó trong production.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Làm sao chuyển âm thanh thành văn bản?

Gửi WAV hoặc MP3, tối đa 26.214.400 byte mỗi file, đến /audio/transcriptions. Luôn đặt language: nếu thiếu, tiếng Ả Rập có thể trả về bằng chữ Latin. Dùng language=ar cho tiếng Ả Rập. Chuyển đổi file .ogg hoặc .m4a trước: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

Phản hồi là JSON, bản chép lời nằm trong text. Model tiếng Ả Rập hay đa ngôn ngữ, và chi phí âm thanh.

Có thể dùng những ID model nào?

Truyền đúng ID vào model. Đừng dựa vào /v1/models để tìm model chat; hãy dùng danh sách này hoặc tài liệu tham chiếu (tiếng Anh).

ModelIDEndpointĐầu vàoCó trong tài liệuQuyền truy cập
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completionsVăn bản + Hình ảnhSuy luậnCần nạp tiền
GLM 5.3broadnet/glm-5.3/chat/completionsVăn bảnCông cụ, Đầu ra có cấu trúc, Suy luậnCần nạp tiền
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completionsVăn bản + Hình ảnhCông cụ, Đầu ra có cấu trúc, Suy luậnCần nạp tiền
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completionsVăn bản + Hình ảnh—Tín dụng ban đầu
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptionsÂm thanh tiếng Ả Rập—Tín dụng ban đầu
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptionsÂm thanh, 14 ngôn ngữ—Tín dụng ban đầu

“Có trong tài liệu” liệt kê công cụ, đầu ra có cấu trúc và suy luận mà tài liệu tham chiếu của BroadNet ghi cho từng model (kiểm tra ngày 2026-11-15). Dấu gạch ngang nghĩa là tài liệu không ghi, không có nghĩa là model không có.

Chuyển từ một API tương thích OpenAI khác: checklist

Cấu trúc request quen thuộc, nhưng các model khác nhau. Hãy kiểm tra từng mục cho model bạn chọn và thử nghiệm trước khi chuyển traffic.

  1. Endpoint. Đặt base URL là https://inference.broadnet.ai/v1.
  2. Key. Dùng inference key của BroadNet lấy từ biến môi trường. Key của gói và key trả theo mức dùng là hai loại riêng.
  3. ID model. Dùng đúng ID, ví dụ broadnet/gemma-4-26b-a4b.
  4. Tham số. Kiểm tra mọi tham số bạn gửi đều có trong tài liệu của model đó. Bỏ những tham số không được liệt kê.
  5. Streaming. Xác nhận client đọc SSE đến [DONE] và xử lý được stream kết thúc sớm.
  6. Công cụ và đầu ra có cấu trúc. Tài liệu tham chiếu ghi các tính năng này cho GLM 5.3 và Qwen3.8 27B. Hãy thử nghiệm mọi model khác trước khi dựa vào chúng.
  7. Suy luận. Phần suy luận có thể dùng một phần ngân sách đầu ra. Hãy chừa khoảng trống trong max_tokens; xem câu trả lời rỗng từ model suy luận.
  8. Giới hạn. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Một phiên của gói xử lý một request tại một thời điểm. Một key Gemma theo giờ cho phép một luồng, 120 request mỗi phút và 300.000 token mỗi phút.
  9. Context. Context gồm cả đầu vào và câu trả lời. Kiểm tra giới hạn của model trên trang model của nó.
  10. Lỗi. Ánh xạ các mã trạng thái dưới đây sang hành động thử lại hoặc sửa lỗi, và ghi log X-Request-ID.
  11. Chi phí. Ước tính bằng công cụ tính giá. Với trả theo mức dùng, hình ảnh được tính là token đầu vào.

Nên thử lại những lỗi nào?

Trạng tháiÝ nghĩaHành động
400 / 422Request hoặc trường không hợp lệSửa request; không thử lại nguyên trạng
401Key thiếu, không hợp lệ hoặc hết hạn, hoặc đã dùng hết hạn mứcKiểm tra key và tài khoản
402insufficient_balanceNạp tiền rồi thử lại
413Request vượt giới hạn byte hoặc văn bảnGửi ít hơn, ví dụ file âm thanh nhỏ hơn
429Giới hạn tần suất, đồng thời, token mỗi phút hoặc chi tiêuTạm dừng có giới hạn số lần, rồi thử lại
500–504Sự cố phía serverThử lại với exponential backoff có giới hạn

Tóm tắt từ bảng lỗi trong tài liệu tham chiếu (tiếng Anh), kiểm tra ngày 2026-11-15. Code mẫu cho việc thử lại.

Tài liệu đầy đủ và hướng dẫn ở đâu?

Cần endpoint riêng hoặc model không có trong danh sách? Liên hệ BroadNet.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity