BroadRouter
Mulakan

Cara guna OpenAI Python SDK dengan BroadNet Inference

Dikemas kini

Pasang pakej openai, kemudian cipta klien dengan base_url ditetapkan kepada https://inference.broadnet.ai/v1 dan kunci BroadNet anda sebagai api_key. Setiap panggilan chat.completions berfungsi tanpa perubahan; hanya ID model yang bertukar, contohnya broadnet/deepseek-v4.1-flash. BroadNet menyediakan chat completions dan transkripsi, bukan Responses API.

Anda memerlukan akaun BroadNet Inference dan kunci inferens. Akaun baharu bermula dengan kredit $5 tanpa kad; cipta akaun di inference.broadnet.ai. Konsol memaparkan kunci sekali sahaja dan hanya menyimpan hash kunci itu, jadi salin terus ke persekitaran anda.

1. Pasang dan tetapkan kunci

Pakej openai semasa (3.x) memerlukan Python 3.10 atau lebih baharu.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Buat permintaan pertama

Simpan kod ini sebagai first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Jalankan dengan python first_request.py. Contoh ini menggunakan broadnet/gemma-4-26b-a4b kerana ia berfungsi pada kredit percuma. Model chat lain tersedia selepas tambah nilai.

3. Tukar kepada model yang anda mahu

Tukar model sahaja:

Anda mahu ID model
Tanpa had pada pelan harga tetap, konteks 1M broadnet/deepseek-v4.1-flash
Alatan dan output berstruktur, konteks 1M broadnet/glm-5.3
Teks dan imej bahasa Arab broadnet/qwen3.8-27b
Harga rendah, berfungsi pada kredit percuma broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens. Beri mereka 1,000 token atau lebih. Inilah sebabnya had yang kecil memulangkan jawapan kosong.

4. Strim jawapan

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Dengan include_usage, bilangan token tiba dalam chunk terakhir, yang tidak mempunyai choices. Panduan penstriman menerangkan sambungan yang terputus.

5. Simpan ID permintaan

Setiap respons membawa pengepala X-Request-ID. Log nilai itu: sokongan BroadNet akan memintanya. Respons yang telah dihurai mendedahkannya sebagai response._request_id. Untuk membacanya bersama pengepala lain:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 permintaan serentak. Maksud setiap kod ralat dan bila perlu cuba semula.

Penyelesaian masalah

  • AuthenticationError (401). Kunci salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Pastikan BROADNET_API_KEY ditetapkan dalam proses yang menjalankan kod anda.
  • NotFoundError (404). Pastikan base_url berakhir dengan /v1 dan anda memanggil chat.completions, bukan responses. Kemudian semak ID model, termasuk awalan broadnet/.
  • Model berbayar gagal pada akaun baharu. Kredit permulaan $5 meliputi BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) dan dua model BroadNet Transcribe. Buat tambah nilai untuk menggunakan model chat lain: DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B.
  • content kosong. Penaakulan dikira dalam max_tokens. Naikkan kepada 1,000 atau lebih. Mengapa jawapan kembali kosong.
  • RateLimitError (429). Anda melebihi had seminit atau had serentak. Secara lalai, SDK mencuba semula dua kali; tetapkan max_retries pada klien untuk mengubahnya.
  • Ralat klien HTTP tersuai selepas naik taraf. SDK 3.x menggunakan HTTPX2. Jika anda menghantar http_client sendiri, ikut panduan migrasi HTTPX2 SDK tersebut.

Soalan lazim

Adakah saya memerlukan SDK lain?

Tidak. BroadNet Inference menggunakan bentuk chat completions dan audio transcriptions OpenAI, jadi pakej openai rasmi berfungsi dengan base_url yang berbeza.

Bolehkah saya terus menggunakan OPENAI_API_KEY?

Boleh, tetapi pembolehubah BROADNET_API_KEY yang berasingan mengelakkan anda tersilap menghantar kunci satu penyedia kepada penyedia lain.

Adakah SDK membaca OPENAI_BASE_URL?

Ya. Jika anda tidak menghantar base_url, klien menggunakan OPENAI_BASE_URL. Tetapkan nilainya kepada https://inference.broadnet.ai/v1 dan tetapkan OPENAI_API_KEY kepada kunci BroadNet anda, maka OpenAI() tidak memerlukan sebarang argumen.

Bolehkah saya menggunakan client.responses.create dengan BroadNet?

Tidak. README SDK itu mengutamakan Responses API, tetapi dokumentasi BroadNet hanya menyenaraikan chat completions dan audio transcriptions. Gunakan client.chat.completions.create.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity