BroadRouter
Mulakan

Pembangun

Dikemas kini

BroadNet Inference menggunakan bentuk permintaan OpenAI di https://inference.broadnet.ai/v1. Cipta kunci dalam konsol, simpan dalam pembolehubah persekitaran, dan hantar permintaan ke /chat/completions atau /audio/transcriptions dengan ID model yang tepat. Sebelum memindahkan trafik pengeluaran, semak parameter, penstriman, alatan, had dan ralat untuk model itu.

Bagaimanakah saya menghantar permintaan chat pertama?

  1. Log masuk di inference.broadnet.ai (Bahasa Inggeris) dan cipta kunci inferens. Ia dipaparkan sekali sahaja; konsol hanya menyimpan cincangnya (hash).
  2. Pasang SDK OpenAI dan tetapkan kunci dalam shell anda. Simpan kunci di pelayan anda, jangan sekali-kali dalam kod pelayar.
  3. Hantar permintaan. Baca jawapan daripada choices[0].message.content.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Contoh ini menggunakan BroadNet Gemma 4 VL 26B, yang diliputi oleh kredit permulaan US$5. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai terlebih dahulu. Simpan pengepala respons X-Request-ID untuk sokongan.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

Penstriman

Tetapkan stream=true dan baca Server-Sent Events sehingga data: [DONE]. Dengan stream_options.include_usage, penggunaan token tiba dalam cebisan terakhir. Jika strim tamat sebelum [DONE], anggap jawapan itu tidak lengkap. BroadNet meminta anda mengesahkan penstriman bagi setiap model sebelum bergantung padanya dalam pengeluaran.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Bagaimanakah saya mentranskripsikan audio?

Hantar WAV atau MP3, sehingga 26,214,400 bait setiap fail, ke /audio/transcriptions. Sentiasa tetapkan language: tanpanya, bahasa Arab boleh dikembalikan dalam huruf Rumi. Gunakan language=ar untuk bahasa Arab. Tukar .ogg atau .m4a terlebih dahulu: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

Respons ialah JSON dengan transkrip dalam text. Model bahasa Arab atau berbilang bahasa, dan kos audio.

ID model manakah yang boleh saya gunakan?

Hantar ID yang tepat sebagai model. Jangan bergantung pada /v1/models untuk mencari model chat; gunakan senarai ini atau rujukan (Bahasa Inggeris).

ModelIDEndpointInputDidokumenkanAkses
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completionsTeks + ImejPenaakulanPerlu tambah nilai
GLM 5.3broadnet/glm-5.3/chat/completionsTeksAlatan, Output berstruktur, PenaakulanPerlu tambah nilai
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completionsTeks + ImejAlatan, Output berstruktur, PenaakulanPerlu tambah nilai
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completionsTeks + Imej—Kredit permulaan
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptionsAudio bahasa Arab—Kredit permulaan
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptionsAudio, 14 bahasa—Kredit permulaan

"Didokumenkan" menyenaraikan alatan, output berstruktur dan penaakulan yang dinamakan oleh rujukan BroadNet untuk setiap model (disemak 2026-11-15). Sengkang bermaksud rujukan tidak menamakannya; ia tidak bermaksud ciri itu tiada.

Berpindah daripada API lain yang serasi OpenAI: senarai semak

Bentuk permintaannya biasa, tetapi model berbeza. Semak setiap perkara untuk model yang anda pilih, dan uji sebelum mengalihkan trafik.

  1. Endpoint. Tetapkan URL asas kepada https://inference.broadnet.ai/v1.
  2. Kunci. Gunakan kunci inferens BroadNet daripada pembolehubah persekitaran. Kunci pelan dan kunci bayar ikut guna adalah berasingan.
  3. ID model. Gunakan ID yang tepat, contohnya broadnet/gemma-4-26b-a4b.
  4. Parameter. Pastikan setiap parameter yang anda hantar didokumenkan untuk model itu. Buang parameter yang tidak disenaraikan.
  5. Penstriman. Sahkan klien anda membaca SSE hingga [DONE] dan mengendalikan strim yang tamat awal.
  6. Alatan dan output berstruktur. Rujukan mendokumenkannya untuk GLM 5.3 dan Qwen3.8 27B. Uji model lain sebelum bergantung padanya.
  7. Penaakulan. Penaakulan boleh menggunakan sebahagian bajet output. Beri ruang dalam max_tokens; lihat jawapan kosong daripada model penaakulan.
  8. Had. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Sesi pelan membenarkan satu permintaan pada satu masa. Kunci sejam Gemma membenarkan satu strim, 120 permintaan seminit dan 300,000 token seminit.
  9. Konteks. Konteks merangkumi input dan jawapan. Semak had model itu pada halaman modelnya.
  10. Ralat. Petakan kod status di bawah kepada tindakan cuba semula atau pembetulan, dan log X-Request-ID.
  11. Kos. Anggarkan dengan kalkulator harga. Imej dikira sebagai token input bagi bayar ikut guna.

Ralat manakah yang patut saya cuba semula?

StatusMaksudTindakan
400 / 422Permintaan atau medan tidak sahBetulkan permintaan; jangan cuba semula tanpa perubahan
401Kunci tiada, tidak sah atau tamat tempoh, atau peruntukan habisSemak kunci dan akaun
402insufficient_balanceTambah nilai, kemudian cuba semula
413Permintaan melebihi had bait atau teksHantar kurang, contohnya fail audio yang lebih kecil
429Had kadar, keserentakan, kadar token atau perbelanjaanUndur dengan had, kemudian cuba semula
500–504Masalah di sebelah pelayanCuba semula dengan backoff eksponen yang terhad

Diringkaskan daripada jadual ralat rujukan (Bahasa Inggeris), disemak 2026-11-15. Contoh kod cuba semula.

Di manakah dokumentasi dan panduan penuh?

Perlukan endpoint persendirian atau model yang tidak disenaraikan? Hubungi BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity