BroadRouter

Memakai DSPy dengan BroadNet Inference (atur model_type="chat")

Diperbarui

Buat dspy.LM dengan model "openai/broadnet/glm-5.3", model_type="chat", api_base https://inference.broadnet.ai/v1, dan api_key BroadNet Anda, lalu berikan ke dspy.configure. Bagian model_type="chat" itu penting. DSPy 3.5 secara default mengarahkan model berprefiks OpenAI ke Responses API, yang tidak dilayani BroadNet. Dalam pengujian kami dengan mock server, tanpa opsi itu panggilan masuk ke /v1/responses dan mendapat 404, dan endpoint live BroadNet juga menjawab path itu dengan 404.

DSPy adalah framework Python untuk memprogram language model dengan signature dan modul, serta untuk mengoptimalkan prompt di baliknya. Anda menghubungkannya ke model dengan dspy.LM. Dokumentasi DSPy menunjukkan server yang kompatibel dengan OpenAI sebagai model openai/ dengan api_base. Untuk BroadNet Inference, yang melayani chat completions di https://inference.broadnet.ai/v1, Anda juga perlu model_type="chat". BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi DSPy 3.5.

Instalasi

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Menghubungkan

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ memberi tahu DSPy untuk memakai klien OpenAI. Sisa string-nya, broadnet/glm-5.3, adalah ID model yang dikirim ke BroadNet.
  • model_type="chat" menjaga DSPy tetap di /v1/chat/completions. Referensi LM DSPy menyebut nilai default 'auto' membuat model OpenAI “use Responses” (terjemahan: “memakai Responses”).
  • max_tokens menyisakan ruang untuk penalaran. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B berpikir sebelum menjawab, dan proses berpikir itu ikut dihitung dalam batas ini.

Apa yang terjadi tanpa model_type

Contoh di halaman instalasi DSPy untuk server kompatibel OpenAI tidak menyertakan model_type. Dalam pengujian kami dengan DSPy 3.5.0, hal itu membuat permintaan dikirim ke /v1/responses dengan max_output_tokens, dan panggilannya gagal:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Error itu berasal dari mock server kami. Endpoint live BroadNet juga menjawab /v1/responses dengan 404 saat kami periksa pada 2026-11-16. Menambahkan model_type="chat" memperbaikinya.

Modul dan model

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Penggunaan DSPy Model
Predict, ChainOfThought, run optimizer broadnet/deepseek-v4.1-flash (harga per token rendah; paket harga tetap)
ReAct dan modul lain yang memanggil tools broadnet/glm-5.3 atau broadnet/qwen3.8-27b
Mencoba DSPy dengan kredit awal broadnet/gemma-4-26b-a4b (konteks 32.768 token)

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. Anda bisa memakai satu model untuk program dan model lain untuk optimizer, masing-masing dengan dspy.LM sendiri. Harga semua model.

Cara kami mengujinya

Pada 2026-11-15 kami menginstal dspy 3.5.0 di virtual environment yang bersih dan menjalankan dspy.Predict terhadap mock server lokal yang meniru format chat completions BroadNet dan menjawab /v1/responses dengan 404. Tanpa model_type, DSPy memanggil /v1/responses dan gagal. Dengan model_type="chat", DSPy memanggil /v1/chat/completions dengan ID model broadnet/glm-5.3 dan kunci Bearer, lalu mem-parse field answer. Kami melihat DSPy mengirim batas output sebagai max_completion_tokens. Referensi API BroadNet menjelaskan max_tokens dan tidak menyebut max_completion_tokens, jadi kami tidak bisa memastikan BroadNet menerapkan batas yang dikirim dengan cara itu. Kami menguji terhadap mock server, bukan dengan kunci BroadNet, jadi output model sungguhan tidak kami periksa.

Pemecahan masalah

  • 404 di /v1/responses. Tambahkan model_type="chat".
  • 404 di /v1/chat/completions. api_base harus diakhiri /v1, dan string model harus berupa openai/ ditambah ID BroadNet lengkap. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • “Expected to find output fields”. Jawaban kosong atau terpotong, sering kali karena penalaran menghabiskan anggaran output. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • 429 saat optimisasi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Kurangi jumlah thread optimizer dan lihat panduan error dan percobaan ulang.

Pertanyaan umum

Kenapa DSPy memanggil /v1/responses di BroadNet?

Referensi dspy.LM di DSPy 3.5 menyebut model_type 'auto', nilai default-nya, membuat model OpenAI memakai Responses API. Model openai/ dengan api_base kustom diperlakukan sama. Kirim model_type="chat" untuk memakai chat completions, yang dilayani BroadNet.

Bagaimana menulis ID model BroadNet di DSPy?

Tambahkan openai/ di depan ID BroadNet, misalnya openai/broadnet/glm-5.3. DSPy memakai openai/ untuk memilih klien dan, dalam pengujian kami, mengirim broadnet/glm-5.3 sebagai model.

Model BroadNet mana yang cocok untuk optimizer DSPy?

Optimizer membuat banyak panggilan, jadi biaya dan rate limit penting. DeepSeek V4.1 Flash berharga per token rendah dan merupakan model di paket harga tetap BroadNet, yang tidak diukur per token. Pakai GLM 5.3 atau Qwen3.8 27B untuk modul yang memanggil tools, seperti ReAct.

Apakah cache DSPy berpengaruh saat memakai BroadNet?

DSPy menyimpan panggilan LM di cache secara default (cache=True), jadi mengulang panggilan yang sama tidak memakan biaya. Atur cache=False saat memeriksa koneksi, karena bisa jadi Anda sedang melihat jawaban dari cache.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity