BroadRouter

Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)

Diperbarui

Di LiteLLM, tambahkan prefiks openai/ di depan ID model BroadNet, misalnya openai/broadnet/glm-5.3, lalu atur api_base ke https://inference.broadnet.ai/v1 dengan kunci BroadNet Anda sebagai api_key. Di proxy, tulis nilai yang sama di bawah litellm_params dalam config.yaml dan beri model itu model_name yang singkat.

LiteLLM menyediakan satu antarmuka ke banyak penyedia LLM, baik sebagai Python SDK maupun sebagai server proxy. Untuk menjangkau API yang kompatibel dengan OpenAI, dokumentasinya meminta dua hal: tambahkan openai/ di depan nama model, dan atur api_base. BroadNet Inference memakai rute tersebut.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ memilih rute; LiteLLM mengirim broadnet/glm-5.3 ke BroadNet. Jangan menambahkan apa pun ke base URL; klien OpenAI di LiteLLM yang menambahkan path endpoint.

Dokumentasi LiteLLM mencatat bahwa rute openai memakai library Python resmi OpenAI, yang memerlukan kunci API di setiap permintaan. Isi api_key secara eksplisit seperti di atas, agar LiteLLM tidak pernah beralih ke OPENAI_API_KEY yang ditujukan untuk OpenAI. Respons kembali dalam format OpenAI, jadi sisa kode Anda tidak berubah.

Kapan memakai proxy

Di dalam satu aplikasi Python, SDK sudah cukup. Proxy berguna saat beberapa aplikasi atau bahasa memerlukan model yang sama: semuanya memanggil satu endpoint bergaya OpenAI dengan nama model singkat, sementara proxy menyimpan kunci BroadNet, menerapkan rate limit, dan mencatat penggunaan. Dengan begitu aplikasi Anda tidak memerlukan pengaturan khusus BroadNet sama sekali.

2. Server proxy

Instal tambahan untuk proxy lalu tulis config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Jalankan, lalu panggil seperti endpoint OpenAI biasa:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

(Komentar di kode menandakan perintah curl dijalankan di terminal kedua.) os.environ/BROADNET_API_KEY_GLM memberi tahu LiteLLM untuk membaca kunci itu dari environment. Setiap entri memakai kunci bayar sesuai pemakaian BroadNet-nya sendiri, jadi rpm: 30, rate limit opsional LiteLLM per deployment, sesuai dengan batas tiap kunci. Jika beberapa entri memakai satu kunci yang sama, mereka berbagi batas yang sama itu, jadi bagi angkanya di antara mereka. master_key membuat proxy mewajibkan kunci di setiap panggilan; dokumentasi LiteLLM menyebut kunci itu harus diawali sk-. Ekspor LITELLM_MASTER_KEY sebelum Anda menjalankan proxy.

Model mana yang dipilih

model_name Model BroadNet Kegunaan
glm GLM 5.3 Tools, output terstruktur, konteks 1M
deepseek-flash DeepSeek V4.1 Flash Konteks panjang; model paket unlimited
qwen Qwen3.8 27B Gambar, tools, bahasa Arab
(tambahkan jika perlu) Gemma 4 VL 26B Harga per token rendah; berfungsi dengan kredit $5

Harga ada di halaman harga. Jika Anda pindah dari gateway lain, checklist migrasi membahas apa saja yang perlu diuji.

Pemecahan masalah

  • 401. Kunci BroadNet salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. Jika 401 berasal dari proxy itu sendiri, periksa kunci LiteLLM yang Anda kirim.
  • Not Found. Pastikan api_base bernilai https://inference.broadnet.ai/v1 lengkap dengan /v1. Jika base URL sudah benar, pastikan ID model setelah openai/ sama persis dengan milik BroadNet.
  • Model ditolak di akun baru. GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up terlebih dahulu; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Konten kosong. Penalaran ikut dihitung dalam max_tokens. Naikkan nilainya atau kirim reasoning_effort="low". Kenapa jawaban kembali kosong.
  • 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan sekaligus. rpm di LiteLLM membantu untuk batas pertama; jaga jumlah pemanggil bersamaan di 4 atau kurang per kunci. Lihat panduan error dan percobaan ulang.
  • Agen paralel dengan kunci paket. Satu sesi paket menjalankan satu permintaan dalam satu waktu. Menjalankan beberapa agen lewat proxy di satu sesi membuat mereka mengantre; beli satu sesi per agen paralel.

Pertanyaan umum

Kenapa LiteLLM mengembalikan error Not Found?

Dokumentasi LiteLLM meminta Anda memastikan api_base diakhiri /v1. Gunakan https://inference.broadnet.ai/v1 dan jangan tambahkan /chat/completions.

Kenapa nama modelnya openai/broadnet/glm-5.3?

Prefiks openai/ memberi tahu LiteLLM untuk memanggil endpoint /chat/completions bergaya OpenAI. LiteLLM memakai prefiks itu untuk memilih rute dan mengirim sisanya, broadnet/glm-5.3, yang merupakan ID model BroadNet.

Bisakah kunci paket unlimited BroadNet dipasang di belakang proxy LiteLLM bersama?

Kunci paket tidak boleh dibagi atau dijual kembali, dan satu sesi menjalankan satu permintaan dalam satu waktu. Gunakan kunci paket untuk agen Anda sendiri. Untuk proxy tim, gunakan kunci bayar sesuai pemakaian.

Apakah LiteLLM butuh OPENAI_API_KEY untuk memanggil BroadNet?

Rute openai memerlukan kunci di setiap permintaan, dari api_key atau OPENAI_API_KEY. Berikan kunci BroadNet Anda sebagai api_key, atau os.environ/BROADNET_API_KEY di proxy, agar LiteLLM tidak mengirim kunci OpenAI sungguhan ke BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity