---
title: "Penyedia serasi OpenAI dalam LiteLLM dengan api_base"
description: "Panggil BroadNet Inference melalui LiteLLM dengan awalan model openai/ dan api_base, dalam Python SDK atau config.yaml proksi, dengan had kadar yang sepadan."
url: https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (dikemas kini 2026-11-16).

# Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)

Dikemas kini 2026-11-16

Dalam LiteLLM, letakkan awalan openai/ pada ID model BroadNet, seperti openai/broadnet/glm-5.3, dan tetapkan api\_base kepada https://inference.broadnet.ai/v1 dengan kunci BroadNet anda sebagai api\_key. Dalam proksi, letakkan nilai yang sama di bawah litellm\_params dalam config.yaml dan beri model itu model\_name yang pendek.

LiteLLM menyediakan satu antara muka kepada banyak penyedia LLM, sebagai Python SDK dan sebagai pelayan proksi. Untuk mencapai API serasi OpenAI, dokumentasinya menyuruh anda melakukan dua perkara: letakkan `openai/` di hadapan nama model, dan tetapkan `api_base`. BroadNet Inference menggunakan laluan itu.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

Dalam contoh di bawah, `max_tokens` ialah 4000; komen dalam kod mengingatkan bahawa penaakulan dikira dalam had ini.

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` memilih laluan; LiteLLM menghantar `broadnet/glm-5.3` kepada BroadNet. Jangan tambah apa-apa pada base URL; klien OpenAI LiteLLM yang menambah laluan endpoint.

Dokumentasi LiteLLM menyatakan laluan `openai` menggunakan pustaka OpenAI Python rasmi, yang memerlukan kunci API pada setiap permintaan. Hantar `api_key` secara eksplisit, seperti di atas, supaya LiteLLM tidak sekali-kali beralih kepada `OPENAI_API_KEY` yang dimaksudkan untuk OpenAI sendiri. Respons dipulangkan dalam bentuk OpenAI, jadi kod anda yang lain tidak perlu diubah.

## Bila menggunakan proksi

SDK sudah memadai dalam satu aplikasi Python. Proksi membantu apabila beberapa aplikasi atau bahasa memerlukan model yang sama: semuanya memanggil satu endpoint gaya OpenAI dengan nama model yang pendek, dan proksi memegang kunci BroadNet, menguatkuasakan had kadar dan merekod penggunaan. Aplikasi anda kemudian tidak memerlukan sebarang tetapan khusus BroadNet langsung.

## 2\. Pelayan proksi

Pasang tambahan proksi dan tulis `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Mulakan proksi dan panggilnya seperti mana-mana endpoint OpenAI. Dalam contoh ini, `curl` dijalankan dalam terminal kedua:

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` memberitahu LiteLLM untuk membaca kunci itu daripada persekitaran. Setiap entri menggunakan kunci bayar ikut guna BroadNet tersendiri, jadi `rpm: 30`, had kadar pilihan LiteLLM bagi setiap deployment, sepadan dengan had setiap kunci. Jika beberapa entri berkongsi satu kunci, mereka berkongsi had yang sama, jadi bahagikan nombor itu antara mereka. `master_key` menjadikan proksi memerlukan kunci pada setiap panggilan; dokumentasi LiteLLM menyatakan ia mesti bermula dengan `sk-`. Eksport `LITELLM_MASTER_KEY` sebelum anda memulakan proksi.

## Model mana yang patut dipilih

| model\_name | Model BroadNet | Kegunaan |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) | Alatan, output berstruktur, konteks 1M |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) | Konteks panjang; model pelan tanpa had |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) | Imej, alatan, bahasa Arab |
| (tambah jika perlu) | [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) | Harga setiap token yang rendah; berfungsi dengan kredit $5 |

Harga ada di [halaman harga](https://broadrouter.com/ms/pricing/). Jika anda berpindah daripada gateway lain, [senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/) menerangkan apa yang perlu diuji.

## Penyelesaian masalah

-   **401.** Kunci BroadNet salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Jika 401 datang daripada proksi itu sendiri, semak kunci LiteLLM yang anda hantar.
-   **Not Found.** Pastikan `api_base` ialah `https://inference.broadnet.ai/v1` dengan `/v1`. Jika base URL betul, pastikan ID model selepas `openai/` sepadan tepat dengan ID BroadNet.
-   **Model ditolak pada akaun baharu.** GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai terlebih dahulu; kredit $5 hanya meliputi `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **Kandungan kosong.** Penaakulan dikira dalam `max_tokens`. Naikkan nilainya atau hantar `reasoning_effort="low"`. [Mengapa jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).
-   **429.** Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. `rpm` LiteLLM membantu untuk had pertama; pastikan pemanggil serentak tidak melebihi 4 bagi setiap kunci. Lihat [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).
-   **Ejen selari pada kunci pelan.** Satu [sesi pelan](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) menjalankan satu permintaan pada satu masa. Menjalankan beberapa ejen melalui proksi pada satu sesi menyebabkan mereka beratur; beli satu sesi bagi setiap ejen selari.

## Istilah dalam panduan ini

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Base URL (URL asas)](https://broadrouter.com/ms/glossary/base-url/)

Base URL ialah alamat akar tetap sesuatu API, seperti https://api.example.com/v1, yang diletakkan oleh klien di hadapan setiap laluan endpoint, seperti /chat/completions. Dalam SDK serasi OpenAI, menukar base URL, bersama kunci API dan ID model, menghalakan kod yang sama kepada penyedia lain.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/)

API serasi OpenAI ialah API HTTP yang menerima format permintaan dan respons yang sama seperti OpenAI API, contohnya POST /v1/chat/completions, jadi SDK dan alat OpenAI boleh menggunakannya dengan hanya menukar base URL, kunci API dan nama model.

[Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/)

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/ms/glossary/prepaid-credit/)

Kredit prabayar ialah wang yang ditambah ke akaun API sebelum digunakan. Setiap permintaan menolak kosnya daripada baki, dan apabila baki habis, permintaan bermeter berhenti sehingga anda menambah nilai. Ia mengehadkan perbelanjaan kepada jumlah yang telah anda bayar.

[Kunci API (API key)](https://broadrouter.com/ms/glossary/api-key/)

Kunci API ialah rentetan rahsia yang mengenal pasti dan membenarkan klien yang memanggil sesuatu API. API LLM biasanya menjangkakannya dalam pengepala Authorization: Bearer, dan sesiapa yang memegang kunci itu boleh membuat permintaan yang dibilkan kepada akaun pemiliknya.

## Soalan lazim

### Mengapakah LiteLLM memulangkan ralat Not Found?

Dokumentasi LiteLLM menyarankan anda memastikan api\_base berakhir dengan /v1. Gunakan https://inference.broadnet.ai/v1 dan jangan tambah /chat/completions.

### Mengapakah nama model ialah openai/broadnet/glm-5.3?

Awalan openai/ memberitahu LiteLLM untuk memanggil endpoint /chat/completions gaya OpenAI. LiteLLM menggunakan awalan itu untuk memilih laluan dan menghantar bakinya, broadnet/glm-5.3, iaitu ID model BroadNet.

### Bolehkah saya meletakkan kunci pelan tanpa had BroadNet di sebalik proksi LiteLLM yang dikongsi?

Kunci pelan tidak boleh dikongsi atau dijual semula, dan satu sesi menjalankan satu permintaan pada satu masa. Gunakannya untuk ejen anda sendiri. Untuk proksi pasukan, gunakan kunci bayar ikut guna.

### Adakah LiteLLM memerlukan OPENAI\_API\_KEY untuk memanggil BroadNet?

Laluan openai memerlukan kunci pada setiap permintaan, daripada api\_key atau OPENAI\_API\_KEY. Hantar kunci BroadNet anda sebagai api\_key, atau os.environ/BROADNET\_API\_KEY dalam proksi, supaya LiteLLM tidak menghantar kunci OpenAI sebenar kepada BroadNet.

## Panduan berkaitan

-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Cara guna LangChain dengan BroadNet Inference](https://broadrouter.com/ms/guides/langchain-openai-base-url/)
-   [Semua alat yang berfungsi dengan BroadNet Inference (Bahasa Inggeris)](https://broadrouter.com/integrations/): SDK, ejen pengekodan, antara muka sembang dan alat automasi, dengan tetapan tepat bagi setiap satu

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi LiteLLM, endpoint serasi OpenAI (disemak 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Dokumentasi LiteLLM, config.yaml proksi (disemak 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Rujukan API BroadNet Inference (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-litellm-proxy-custom-provider&utm_content=sources)
