DSPy adalah framework Python untuk memprogram language model dengan signature dan modul, serta untuk mengoptimalkan prompt di baliknya. Anda menghubungkannya ke model dengan dspy.LM. Dokumentasi DSPy menunjukkan server yang kompatibel dengan OpenAI sebagai model openai/ dengan api_base. Untuk BroadNet Inference, yang melayani chat completions di https://inference.broadnet.ai/v1, Anda juga perlu model_type="chat". BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi DSPy 3.5.
Instalasi
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Menghubungkan
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/memberi tahu DSPy untuk memakai klien OpenAI. Sisa string-nya,broadnet/glm-5.3, adalah ID model yang dikirim ke BroadNet.model_type="chat"menjaga DSPy tetap di/v1/chat/completions. Referensi LM DSPy menyebut nilai default'auto'membuat model OpenAI “use Responses” (terjemahan: “memakai Responses”).max_tokensmenyisakan ruang untuk penalaran. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B berpikir sebelum menjawab, dan proses berpikir itu ikut dihitung dalam batas ini.
Apa yang terjadi tanpa model_type
Contoh di halaman instalasi DSPy untuk server kompatibel OpenAI tidak menyertakan model_type. Dalam pengujian kami dengan DSPy 3.5.0, hal itu membuat permintaan dikirim ke /v1/responses dengan max_output_tokens, dan panggilannya gagal:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Error itu berasal dari mock server kami. Endpoint live BroadNet juga menjawab /v1/responses dengan 404 saat kami periksa pada 2026-11-16. Menambahkan model_type="chat" memperbaikinya.
Modul dan model
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Penggunaan DSPy | Model |
|---|---|
Predict, ChainOfThought, run optimizer |
broadnet/deepseek-v4.1-flash (harga per token rendah; paket harga tetap) |
ReAct dan modul lain yang memanggil tools |
broadnet/glm-5.3 atau broadnet/qwen3.8-27b |
| Mencoba DSPy dengan kredit awal | broadnet/gemma-4-26b-a4b (konteks 32.768 token) |
Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. Anda bisa memakai satu model untuk program dan model lain untuk optimizer, masing-masing dengan dspy.LM sendiri. Harga semua model.
Cara kami mengujinya
Pada 2026-11-15 kami menginstal dspy 3.5.0 di virtual environment yang bersih dan menjalankan dspy.Predict terhadap mock server lokal yang meniru format chat completions BroadNet dan menjawab /v1/responses dengan 404. Tanpa model_type, DSPy memanggil /v1/responses dan gagal. Dengan model_type="chat", DSPy memanggil /v1/chat/completions dengan ID model broadnet/glm-5.3 dan kunci Bearer, lalu mem-parse field answer. Kami melihat DSPy mengirim batas output sebagai max_completion_tokens. Referensi API BroadNet menjelaskan max_tokens dan tidak menyebut max_completion_tokens, jadi kami tidak bisa memastikan BroadNet menerapkan batas yang dikirim dengan cara itu. Kami menguji terhadap mock server, bukan dengan kunci BroadNet, jadi output model sungguhan tidak kami periksa.
Pemecahan masalah
- 404 di /v1/responses. Tambahkan
model_type="chat". - 404 di /v1/chat/completions.
api_baseharus diakhiri/v1, dan string model harus berupaopenai/ditambah ID BroadNet lengkap. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4bdan dua model Transcribe. - “Expected to find output fields”. Jawaban kosong atau terpotong, sering kali karena penalaran menghabiskan anggaran output. Naikkan
max_tokens. Kenapa jawaban kembali kosong. - 429 saat optimisasi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Kurangi jumlah thread optimizer dan lihat panduan error dan percobaan ulang.
