BroadRouter
Mulai

Developer

Diperbarui

BroadNet Inference memakai format permintaan OpenAI di https://inference.broadnet.ai/v1. Buat kunci di konsol, simpan di environment variable, lalu kirim permintaan ke /chat/completions atau /audio/transcriptions dengan ID model yang persis. Sebelum memindahkan trafik produksi, periksa parameter, streaming, tools, batas, dan error untuk model tersebut.

Bagaimana cara mengirim permintaan chat pertama?

  1. Masuk di inference.broadnet.ai (bahasa Inggris) lalu buat kunci inferensi. Kunci hanya ditampilkan sekali; konsol hanya menyimpan hash-nya.
  2. Instal OpenAI SDK dan atur kunci di shell Anda. Simpan kunci di server, jangan pernah di kode yang berjalan di browser.
  3. Kirim permintaan. Baca jawabannya dari choices[0].message.content.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Contoh ini memakai BroadNet Gemma 4 VL 26B, yang dicakup kredit awal US$5. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B memerlukan top up terlebih dahulu. Simpan header respons X-Request-ID untuk keperluan dukungan.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

Streaming

Atur stream=true dan baca Server-Sent Events sampai data: [DONE]. Dengan stream_options.include_usage, pemakaian token dikirim di chunk terakhir. Jika stream berhenti sebelum [DONE], anggap jawabannya belum lengkap. BroadNet meminta Anda memverifikasi streaming untuk setiap model sebelum mengandalkannya di produksi.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Bagaimana cara mentranskripsi audio?

Kirim WAV atau MP3, maksimal 26.214.400 byte per file, ke /audio/transcriptions. Selalu isi language: tanpa itu, bahasa Arab bisa kembali dalam huruf Latin. Gunakan language=ar untuk bahasa Arab. Ubah dulu file .ogg atau .m4a: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

Responsnya berupa JSON dengan transkrip di text. Model Arab atau multibahasa, dan berapa biaya audio.

ID model apa saja yang bisa saya pakai?

Kirim ID yang persis sebagai model. Jangan mengandalkan /v1/models untuk menemukan model chat; gunakan daftar ini atau referensi (bahasa Inggris).

ModelIDEndpointInputTerdokumentasiAkses
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completionsTeks + GambarPenalaranPerlu top up
GLM 5.3broadnet/glm-5.3/chat/completionsTeksTools, Output terstruktur, PenalaranPerlu top up
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completionsTeks + GambarTools, Output terstruktur, PenalaranPerlu top up
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completionsTeks + Gambar—Kredit awal
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptionsAudio bahasa Arab—Kredit awal
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptionsAudio, 14 bahasa—Kredit awal

Kolom "Terdokumentasi" mencantumkan tools, output terstruktur, dan penalaran yang disebut referensi BroadNet untuk setiap model (diperiksa 2026-11-15). Tanda hubung berarti referensi tidak menyebutnya; bukan berarti fitur itu tidak ada.

Pindah dari API lain yang kompatibel dengan OpenAI: checklist

Format permintaannya sudah familier, tetapi setiap model berbeda. Periksa setiap poin untuk model pilihan Anda, dan uji dulu sebelum memindahkan trafik.

  1. Endpoint. Atur base URL ke https://inference.broadnet.ai/v1.
  2. Kunci. Gunakan kunci inferensi BroadNet dari environment variable. Kunci paket dan kunci bayar sesuai pemakaian itu terpisah.
  3. ID model. Gunakan ID yang persis, misalnya broadnet/gemma-4-26b-a4b.
  4. Parameter. Pastikan setiap parameter yang Anda kirim terdokumentasi untuk model tersebut. Hapus yang tidak tercantum.
  5. Streaming. Pastikan klien Anda membaca SSE sampai [DONE] dan menangani stream yang berhenti lebih awal.
  6. Tools dan output terstruktur. Referensi mendokumentasikannya untuk GLM 5.3 dan Qwen3.8 27B. Uji model lain sebelum mengandalkannya.
  7. Penalaran. Penalaran bisa memakai sebagian anggaran output. Sisakan ruang di max_tokens; lihat jawaban kosong dari model penalaran.
  8. Batas. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan bersamaan. Sesi paket mengizinkan satu permintaan dalam satu waktu. Kunci per jam Gemma mengizinkan satu stream, 120 permintaan per menit, dan 300.000 token per menit.
  9. Konteks. Konteks mencakup input dan jawaban. Periksa batas model di halaman modelnya.
  10. Error. Petakan kode status di bawah ke tindakan coba ulang atau perbaikan, dan catat X-Request-ID.
  11. Biaya. Buat estimasi dengan kalkulator harga. Pada bayar sesuai pemakaian, gambar dihitung sebagai token input.

Error mana yang perlu dicoba ulang?

StatusArtiTindakan
400 / 422Permintaan atau field tidak validPerbaiki permintaan; jangan dicoba ulang apa adanya
401Kunci tidak ada, tidak valid, atau kedaluwarsa, atau jatah sudah habisPeriksa kunci dan akun
402insufficient_balanceTop up, lalu coba lagi
413Permintaan melebihi batas byte atau teksKirim lebih sedikit, misalnya file audio yang lebih kecil
429Batas laju, konkurensi, token per menit, atau pengeluaranTunggu dengan batas percobaan, lalu coba lagi
500–504Masalah di sisi serverCoba ulang dengan exponential backoff yang dibatasi

Diringkas dari tabel error di referensi (bahasa Inggris), diperiksa 2026-11-15. Contoh kode untuk percobaan ulang.

Di mana dokumentasi dan panduan lengkapnya?

Butuh endpoint privat atau model yang tidak ada di daftar? Hubungi BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity