Anda memerlukan akaun BroadNet Inference dan kunci inferens. Akaun baharu bermula dengan kredit $5 tanpa kad; cipta akaun di inference.broadnet.ai. Konsol memaparkan kunci sekali sahaja dan hanya menyimpan hash kunci itu, jadi salin terus ke persekitaran anda.
1. Pasang dan tetapkan kunci
Pakej openai semasa (3.x) memerlukan Python 3.10 atau lebih baharu.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Buat permintaan pertama
Simpan kod ini sebagai first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
Jalankan dengan python first_request.py. Contoh ini menggunakan broadnet/gemma-4-26b-a4b kerana ia berfungsi pada kredit percuma. Model chat lain tersedia selepas tambah nilai.
3. Tukar kepada model yang anda mahu
Tukar model sahaja:
| Anda mahu | ID model |
|---|---|
| Tanpa had pada pelan harga tetap, konteks 1M | broadnet/deepseek-v4.1-flash |
| Alatan dan output berstruktur, konteks 1M | broadnet/glm-5.3 |
| Teks dan imej bahasa Arab | broadnet/qwen3.8-27b |
| Harga rendah, berfungsi pada kredit percuma | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens. Beri mereka 1,000 token atau lebih. Inilah sebabnya had yang kecil memulangkan jawapan kosong.
4. Strim jawapan
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Dengan include_usage, bilangan token tiba dalam chunk terakhir, yang tidak mempunyai choices. Panduan penstriman menerangkan sambungan yang terputus.
5. Simpan ID permintaan
Setiap respons membawa pengepala X-Request-ID. Log nilai itu: sokongan BroadNet akan memintanya. Respons yang telah dihurai mendedahkannya sebagai response._request_id. Untuk membacanya bersama pengepala lain:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 permintaan serentak. Maksud setiap kod ralat dan bila perlu cuba semula.
Penyelesaian masalah
AuthenticationError(401). Kunci salah, tamat tempoh, atau elaun bayar ikut guna telah habis. PastikanBROADNET_API_KEYditetapkan dalam proses yang menjalankan kod anda.NotFoundError(404). Pastikanbase_urlberakhir dengan/v1dan anda memanggilchat.completions, bukanresponses. Kemudian semak ID model, termasuk awalanbroadnet/.- Model berbayar gagal pada akaun baharu. Kredit permulaan $5 meliputi BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) dan dua model BroadNet Transcribe. Buat tambah nilai untuk menggunakan model chat lain: DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B. contentkosong. Penaakulan dikira dalammax_tokens. Naikkan kepada 1,000 atau lebih. Mengapa jawapan kembali kosong.RateLimitError(429). Anda melebihi had seminit atau had serentak. Secara lalai, SDK mencuba semula dua kali; tetapkanmax_retriespada klien untuk mengubahnya.- Ralat klien HTTP tersuai selepas naik taraf. SDK 3.x menggunakan HTTPX2. Jika anda menghantar
http_clientsendiri, ikut panduan migrasi HTTPX2 SDK tersebut.
