BroadRouter
Mulai

Memakai OpenAI Python SDK dengan BroadNet Inference

Diperbarui

Instal paket openai, lalu buat client dengan base_url https://inference.broadnet.ai/v1 dan kunci BroadNet Anda sebagai api_key. Semua panggilan chat.completions berjalan tanpa perubahan; yang berubah hanya ID model, misalnya broadnet/deepseek-v4.1-flash. BroadNet melayani chat completions dan transkripsi, bukan Responses API.

Anda memerlukan akun BroadNet Inference dan kunci inferensi. Akun baru dimulai dengan kredit $5 tanpa kartu; buat akun di inference.broadnet.ai. Konsol hanya menampilkan kunci sekali dan hanya menyimpan hash-nya, jadi salin kunci langsung ke environment Anda.

1. Instal dan atur kunci

Paket openai versi terbaru (3.x) memerlukan Python 3.10 atau lebih baru.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Kirim permintaan pertama

Simpan kode ini sebagai first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Jalankan dengan python first_request.py. Contoh ini memakai broadnet/gemma-4-26b-a4b karena model itu berjalan dengan kredit gratis. Model chat lainnya tersedia setelah top up.

3. Ganti ke model yang Anda inginkan

Ubah hanya model:

Yang Anda perlukan ID model
Unlimited dengan paket harga tetap, konteks 1M broadnet/deepseek-v4.1-flash
Tools dan output terstruktur, konteks 1M broadnet/glm-5.3
Teks dan gambar berbahasa Arab broadnet/qwen3.8-27b
Harga rendah, berjalan dengan kredit gratis broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalarannya dihitung dalam max_tokens. Beri mereka 1.000 token atau lebih. Ini alasan batas yang kecil menghasilkan jawaban kosong.

4. Stream jawabannya

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Dengan include_usage, jumlah token tiba di chunk terakhir, yang tidak memiliki choices. Panduan streaming membahas koneksi yang terputus.

5. Simpan request ID

Setiap respons membawa header X-Request-ID. Catat nilainya: tim dukungan BroadNet akan memintanya. Respons yang sudah di-parse menyediakannya sebagai response._request_id. Untuk membacanya bersama header lain:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Arti setiap kode error dan kapan harus mencoba ulang.

Pemecahan masalah

  • AuthenticationError (401). Kunci salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. Pastikan BROADNET_API_KEY diatur di proses yang menjalankan kode Anda.
  • NotFoundError (404). Pastikan base_url diakhiri /v1 dan Anda memanggil chat.completions, bukan responses. Lalu periksa ID model, lengkap dengan prefiks broadnet/.
  • Model berbayar gagal di akun baru. Kredit awal $5 mencakup BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) dan dua model BroadNet Transcribe. Lakukan top up untuk memakai model chat lainnya: DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B.
  • content kosong. Penalaran dihitung dalam max_tokens. Naikkan menjadi 1.000 atau lebih. Kenapa jawaban kembali kosong.
  • RateLimitError (429). Anda melewati batas per menit atau batas permintaan bersamaan. Secara default SDK mencoba ulang dua kali; atur max_retries pada client untuk mengubahnya.
  • Error custom HTTP client setelah upgrade. SDK 3.x memakai HTTPX2. Jika Anda mengirim http_client sendiri, ikuti panduan migrasi HTTPX2 dari SDK.

Pertanyaan umum

Apakah saya perlu SDK lain?

Tidak. BroadNet Inference memakai format chat completions dan audio transcriptions OpenAI, jadi paket openai resmi bisa dipakai dengan base_url yang berbeda.

Bisakah saya tetap memakai OPENAI_API_KEY?

Bisa, tetapi variabel BROADNET_API_KEY yang terpisah mencegah Anda tidak sengaja mengirim kunci satu penyedia ke penyedia lain.

Apakah SDK membaca OPENAI_BASE_URL?

Ya. Jika Anda tidak mengisi base_url, client memakai OPENAI_BASE_URL. Atur ke https://inference.broadnet.ai/v1 dan isi OPENAI_API_KEY dengan kunci BroadNet Anda, maka OpenAI() tidak perlu argumen apa pun.

Bisakah saya memakai client.responses.create dengan BroadNet?

Tidak. README SDK memang mengedepankan Responses API, tetapi dokumentasi BroadNet hanya mencantumkan chat completions dan audio transcriptions. Gunakan client.chat.completions.create.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity