---
title: "Provider kompatibel OpenAI di LiteLLM dengan api_base"
description: "Panggil BroadNet Inference lewat LiteLLM dengan prefiks model openai/ dan api_base, di Python SDK atau config.yaml proxy, dengan rate limit yang sesuai."
url: https://broadrouter.com/id/guides/litellm-proxy-custom-provider/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (diperbarui 2026-11-16).

# Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)

Diperbarui 2026-11-16

Di LiteLLM, tambahkan prefiks openai/ di depan ID model BroadNet, misalnya openai/broadnet/glm-5.3, lalu atur api\_base ke https://inference.broadnet.ai/v1 dengan kunci BroadNet Anda sebagai api\_key. Di proxy, tulis nilai yang sama di bawah litellm\_params dalam config.yaml dan beri model itu model\_name yang singkat.

LiteLLM menyediakan satu antarmuka ke banyak penyedia LLM, baik sebagai Python SDK maupun sebagai server proxy. Untuk menjangkau API yang kompatibel dengan OpenAI, dokumentasinya meminta dua hal: tambahkan `openai/` di depan nama model, dan atur `api_base`. BroadNet Inference memakai rute tersebut.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` memilih rute; LiteLLM mengirim `broadnet/glm-5.3` ke BroadNet. Jangan menambahkan apa pun ke base URL; klien OpenAI di LiteLLM yang menambahkan path endpoint.

Dokumentasi LiteLLM mencatat bahwa rute `openai` memakai library Python resmi OpenAI, yang memerlukan kunci API di setiap permintaan. Isi `api_key` secara eksplisit seperti di atas, agar LiteLLM tidak pernah beralih ke `OPENAI_API_KEY` yang ditujukan untuk OpenAI. Respons kembali dalam format OpenAI, jadi sisa kode Anda tidak berubah.

## Kapan memakai proxy

Di dalam satu aplikasi Python, SDK sudah cukup. Proxy berguna saat beberapa aplikasi atau bahasa memerlukan model yang sama: semuanya memanggil satu endpoint bergaya OpenAI dengan nama model singkat, sementara proxy menyimpan kunci BroadNet, menerapkan rate limit, dan mencatat penggunaan. Dengan begitu aplikasi Anda tidak memerlukan pengaturan khusus BroadNet sama sekali.

## 2\. Server proxy

Instal tambahan untuk proxy lalu tulis `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Jalankan, lalu panggil seperti endpoint OpenAI biasa:

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

(Komentar di kode menandakan perintah `curl` dijalankan di terminal kedua.) `os.environ/BROADNET_API_KEY_GLM` memberi tahu LiteLLM untuk membaca kunci itu dari environment. Setiap entri memakai kunci bayar sesuai pemakaian BroadNet-nya sendiri, jadi `rpm: 30`, rate limit opsional LiteLLM per deployment, sesuai dengan batas tiap kunci. Jika beberapa entri memakai satu kunci yang sama, mereka berbagi batas yang sama itu, jadi bagi angkanya di antara mereka. `master_key` membuat proxy mewajibkan kunci di setiap panggilan; dokumentasi LiteLLM menyebut kunci itu harus diawali `sk-`. Ekspor `LITELLM_MASTER_KEY` sebelum Anda menjalankan proxy.

## Model mana yang dipilih

| model\_name | Model BroadNet | Kegunaan |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | Tools, output terstruktur, konteks 1M |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | Konteks panjang; model paket unlimited |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | Gambar, tools, bahasa Arab |
| (tambahkan jika perlu) | [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) | Harga per token rendah; berfungsi dengan kredit $5 |

Harga ada di [halaman harga](https://broadrouter.com/id/pricing/). Jika Anda pindah dari gateway lain, [checklist migrasi](https://broadrouter.com/id/blog/openai-compatible-api-migration-checklist/) membahas apa saja yang perlu diuji.

## Pemecahan masalah

-   **401.** Kunci BroadNet salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. Jika 401 berasal dari proxy itu sendiri, periksa kunci LiteLLM yang Anda kirim.
-   **Not Found.** Pastikan `api_base` bernilai `https://inference.broadnet.ai/v1` lengkap dengan `/v1`. Jika base URL sudah benar, pastikan ID model setelah `openai/` sama persis dengan milik BroadNet.
-   **Model ditolak di akun baru.** GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up terlebih dahulu; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **Konten kosong.** Penalaran ikut dihitung dalam `max_tokens`. Naikkan nilainya atau kirim `reasoning_effort="low"`. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **429.** Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan sekaligus. `rpm` di LiteLLM membantu untuk batas pertama; jaga jumlah pemanggil bersamaan di 4 atau kurang per kunci. Lihat [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).
-   **Agen paralel dengan kunci paket.** Satu [sesi paket](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) menjalankan satu permintaan dalam satu waktu. Menjalankan beberapa agen lewat proxy di satu sesi membuat mereka mengantre; beli satu sesi per agen paralel.

## Istilah dalam panduan ini

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)

Kredit prabayar adalah uang yang diisi ke akun API sebelum dipakai. Setiap request memotong biayanya dari saldo, dan saat saldo habis, request berbayar per pemakaian berhenti sampai Anda melakukan top up. Dengan begitu, pengeluaran dibatasi sebesar uang yang sudah Anda setor.

[Kunci API (API key)](https://broadrouter.com/id/glossary/api-key/)

Kunci API adalah string rahasia yang mengidentifikasi dan mengotorisasi client yang memanggil API. API LLM biasanya mengharapkannya di header Authorization: Bearer, dan siapa pun yang memegang kunci itu bisa membuat permintaan yang ditagihkan ke akun pemiliknya.

## Pertanyaan umum

### Kenapa LiteLLM mengembalikan error Not Found?

Dokumentasi LiteLLM meminta Anda memastikan api\_base diakhiri /v1. Gunakan https://inference.broadnet.ai/v1 dan jangan tambahkan /chat/completions.

### Kenapa nama modelnya openai/broadnet/glm-5.3?

Prefiks openai/ memberi tahu LiteLLM untuk memanggil endpoint /chat/completions bergaya OpenAI. LiteLLM memakai prefiks itu untuk memilih rute dan mengirim sisanya, broadnet/glm-5.3, yang merupakan ID model BroadNet.

### Bisakah kunci paket unlimited BroadNet dipasang di belakang proxy LiteLLM bersama?

Kunci paket tidak boleh dibagi atau dijual kembali, dan satu sesi menjalankan satu permintaan dalam satu waktu. Gunakan kunci paket untuk agen Anda sendiri. Untuk proxy tim, gunakan kunci bayar sesuai pemakaian.

### Apakah LiteLLM butuh OPENAI\_API\_KEY untuk memanggil BroadNet?

Rute openai memerlukan kunci di setiap permintaan, dari api\_key atau OPENAI\_API\_KEY. Berikan kunci BroadNet Anda sebagai api\_key, atau os.environ/BROADNET\_API\_KEY di proxy, agar LiteLLM tidak mengirim kunci OpenAI sungguhan ke BroadNet.

## Panduan terkait

-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Memakai LangChain dengan BroadNet Inference](https://broadrouter.com/id/guides/langchain-openai-base-url/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi LiteLLM, endpoint kompatibel OpenAI (diperiksa 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Dokumentasi LiteLLM, config.yaml proxy (diperiksa 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Referensi API BroadNet Inference (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-litellm-proxy-custom-provider&utm_content=sources)
