---
title: "dspy.LM di DSPy dengan api_base kompatibel OpenAI | BroadRouter"
description: "Konfigurasikan dspy.LM untuk BroadNet Inference dengan prefiks openai/, api_base, dan model_type=\"chat\", karena DSPy 3.5 mengirim model OpenAI ke Responses API."
url: https://broadrouter.com/id/guides/dspy-openai-compatible/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/dspy-openai-compatible/) (diperbarui 2026-11-16).

# Memakai DSPy dengan BroadNet Inference (atur model\_type="chat")

Diperbarui 2026-11-16

Buat dspy.LM dengan model "openai/broadnet/glm-5.3", model\_type="chat", api\_base https://inference.broadnet.ai/v1, dan api\_key BroadNet Anda, lalu berikan ke dspy.configure. Bagian model\_type="chat" itu penting. DSPy 3.5 secara default mengarahkan model berprefiks OpenAI ke Responses API, yang tidak dilayani BroadNet. Dalam pengujian kami dengan mock server, tanpa opsi itu panggilan masuk ke /v1/responses dan mendapat 404, dan endpoint live BroadNet juga menjawab path itu dengan 404.

DSPy adalah framework Python untuk memprogram language model dengan signature dan modul, serta untuk mengoptimalkan prompt di baliknya. Anda menghubungkannya ke model dengan `dspy.LM`. Dokumentasi DSPy menunjukkan server yang kompatibel dengan OpenAI sebagai model `openai/` dengan `api_base`. Untuk BroadNet Inference, yang melayani chat completions di `https://inference.broadnet.ai/v1`, Anda juga perlu `model_type="chat"`. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi DSPy 3.5.

## Instalasi

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## Menghubungkan

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** memberi tahu DSPy untuk memakai klien OpenAI. Sisa string-nya, `broadnet/glm-5.3`, adalah ID model yang dikirim ke BroadNet.
-   **`model_type="chat"`** menjaga DSPy tetap di `/v1/chat/completions`. Referensi LM DSPy menyebut nilai default `'auto'` membuat model OpenAI “use Responses” (terjemahan: “memakai Responses”).
-   **`max_tokens`** menyisakan ruang untuk penalaran. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B berpikir sebelum menjawab, dan proses berpikir itu ikut dihitung dalam batas ini.

## Apa yang terjadi tanpa model\_type

Contoh di halaman instalasi DSPy untuk server kompatibel OpenAI tidak menyertakan `model_type`. Dalam pengujian kami dengan DSPy 3.5.0, hal itu membuat permintaan dikirim ke `/v1/responses` dengan `max_output_tokens`, dan panggilannya gagal:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

Error itu berasal dari mock server kami. Endpoint live BroadNet juga menjawab `/v1/responses` dengan 404 saat kami periksa pada 2026-11-16. Menambahkan `model_type="chat"` memperbaikinya.

## Modul dan model

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| Penggunaan DSPy | Model |
| --- | --- |
| `Predict`, `ChainOfThought`, run optimizer | `broadnet/deepseek-v4.1-flash` (harga per token rendah; paket harga tetap) |
| `ReAct` dan modul lain yang memanggil tools | `broadnet/glm-5.3` atau `broadnet/qwen3.8-27b` |
| Mencoba DSPy dengan kredit awal | `broadnet/gemma-4-26b-a4b` (konteks 32.768 token) |

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. Anda bisa memakai satu model untuk program dan model lain untuk optimizer, masing-masing dengan `dspy.LM` sendiri. [Harga semua model](https://broadrouter.com/id/pricing/).

## Cara kami mengujinya

Pada 2026-11-15 kami menginstal dspy 3.5.0 di virtual environment yang bersih dan menjalankan `dspy.Predict` terhadap mock server lokal yang meniru format chat completions BroadNet dan menjawab `/v1/responses` dengan 404. Tanpa `model_type`, DSPy memanggil `/v1/responses` dan gagal. Dengan `model_type="chat"`, DSPy memanggil `/v1/chat/completions` dengan ID model `broadnet/glm-5.3` dan kunci Bearer, lalu mem-parse field answer. Kami melihat DSPy mengirim batas output sebagai `max_completion_tokens`. Referensi API BroadNet menjelaskan `max_tokens` dan tidak menyebut `max_completion_tokens`, jadi kami tidak bisa memastikan BroadNet menerapkan batas yang dikirim dengan cara itu. Kami menguji terhadap mock server, bukan dengan kunci BroadNet, jadi output model sungguhan tidak kami periksa.

## Pemecahan masalah

-   **404 di /v1/responses.** Tambahkan `model_type="chat"`.
-   **404 di /v1/chat/completions.** `api_base` harus diakhiri `/v1`, dan string model harus berupa `openai/` ditambah ID BroadNet lengkap. Model berbayar memerlukan top up; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **“Expected to find output fields”.** Jawaban kosong atau terpotong, sering kali karena penalaran menghabiskan anggaran output. Naikkan `max_tokens`. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **429 saat optimisasi.** Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Kurangi jumlah thread optimizer dan lihat [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)

Kredit prabayar adalah uang yang diisi ke akun API sebelum dipakai. Setiap request memotong biayanya dari saldo, dan saat saldo habis, request berbayar per pemakaian berhenti sampai Anda melakukan top up. Dengan begitu, pengeluaran dibatasi sebesar uang yang sudah Anda setor.

## Pertanyaan umum

### Kenapa DSPy memanggil /v1/responses di BroadNet?

Referensi dspy.LM di DSPy 3.5 menyebut model\_type 'auto', nilai default-nya, membuat model OpenAI memakai Responses API. Model openai/ dengan api\_base kustom diperlakukan sama. Kirim model\_type="chat" untuk memakai chat completions, yang dilayani BroadNet.

### Bagaimana menulis ID model BroadNet di DSPy?

Tambahkan openai/ di depan ID BroadNet, misalnya openai/broadnet/glm-5.3. DSPy memakai openai/ untuk memilih klien dan, dalam pengujian kami, mengirim broadnet/glm-5.3 sebagai model.

### Model BroadNet mana yang cocok untuk optimizer DSPy?

Optimizer membuat banyak panggilan, jadi biaya dan rate limit penting. DeepSeek V4.1 Flash berharga per token rendah dan merupakan model di paket harga tetap BroadNet, yang tidak diukur per token. Pakai GLM 5.3 atau Qwen3.8 27B untuk modul yang memanggil tools, seperti ReAct.

### Apakah cache DSPy berpengaruh saat memakai BroadNet?

DSPy menyimpan panggilan LM di cache secara default (cache=True), jadi mengulang panggilan yang sama tidak memakan biaya. Atur cache=False saat memeriksa koneksi, karena bisa jadi Anda sedang melihat jawaban dari cache.

## Panduan terkait

-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-dspy-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi DSPy, instalasi dan penyiapan language model (halaman bertanggal 2026-11-10, diperiksa 2026-11-15)](https://dspy.ai/current/getting-started/installation/)
-   [Dokumentasi DSPy, referensi API dspy.LM (model\_type) (diperiksa 2026-11-15)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (diperiksa 2026-11-15)](https://pypi.org/project/dspy/)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-16) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-dspy-openai-compatible&utm_content=sources)
