DSPy ialah rangka kerja Python untuk memprogram model bahasa dengan signature dan modul, serta untuk mengoptimumkan prompt di sebaliknya. Anda menyambungkannya kepada model dengan dspy.LM. Dokumentasi DSPy menunjukkan pelayan serasi OpenAI sebagai model openai/ dengan api_base. Untuk BroadNet Inference, yang menyediakan chat completions di https://inference.broadnet.ai/v1, anda juga memerlukan model_type="chat". BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi DSPy untuk versi 3.5.
Pasang
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Sambung
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/memberitahu DSPy untuk menggunakan klien OpenAI-nya. Selebihnya rentetan itu,broadnet/glm-5.3, ialah ID model yang dihantar ke BroadNet.model_type="chat"mengekalkan DSPy pada/v1/chat/completions. Rujukan LM DSPy menyatakan lalai'auto'membuatkan model OpenAI “use Responses” (Terjemahan: menggunakan Responses).max_tokensmemberi ruang untuk penaakulan. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B berfikir sebelum menjawab, dan pemikiran itu dikira dalam had.
Apa yang berlaku tanpa model_type
Contoh di halaman pemasangan DSPy untuk pelayan serasi OpenAI tidak menyertakan model_type. Dalam ujian kami dengan DSPy 3.5.0, permintaan dihantar ke /v1/responses dengan max_output_tokens, dan panggilan itu gagal:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Ralat itu datang daripada pelayan olok-olok (mock) kami. Endpoint langsung BroadNet juga menjawab /v1/responses dengan 404 apabila kami menyemaknya pada 2026-11-16. Menambah model_type="chat" membetulkannya.
Modul dan model
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Kegunaan DSPy | Model |
|---|---|
Predict, ChainOfThought, larian pengoptimum |
broadnet/deepseek-v4.1-flash (harga per token rendah; pelan harga tetap) |
ReAct dan modul lain yang memanggil tools |
broadnet/glm-5.3 atau broadnet/qwen3.8-27b |
| Mencuba DSPy dengan kredit permulaan | broadnet/gemma-4-26b-a4b (konteks 32,768 token) |
Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. Anda boleh menggunakan satu model untuk program dan satu lagi untuk pengoptimum, masing-masing dengan dspy.LM sendiri. Harga setiap model.
Cara kami mengujinya
Pada 2026-11-15, kami memasang dspy 3.5.0 dalam persekitaran maya yang bersih dan menjalankan dspy.Predict terhadap pelayan olok-olok setempat yang menggunakan bentuk chat-completions BroadNet dan menjawab /v1/responses dengan 404. Tanpa model_type, DSPy memanggil /v1/responses dan gagal. Dengan model_type="chat", ia memanggil /v1/chat/completions dengan ID model broadnet/glm-5.3 dan kunci Bearer, lalu menghurai medan jawapan. Kami mendapati DSPy menghantar had output sebagai max_completion_tokens. Rujukan API BroadNet menerangkan max_tokens dan tidak menyebut max_completion_tokens, jadi kami tidak dapat mengesahkan bahawa BroadNet mengenakan had yang dihantar dengan cara itu. Kami menguji terhadap pelayan olok-olok, bukan dengan kunci BroadNet, jadi kami tidak menyemak output model sebenar.
Penyelesaian masalah
- 404 pada /v1/responses. Tambah
model_type="chat". - 404 pada /v1/chat/completions.
api_basemesti berakhir dengan/v1, dan rentetan model mestiopenai/diikuti ID BroadNet penuh. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - “Expected to find output fields”. Jawapan kosong atau terpotong, selalunya kerana penaakulan telah menghabiskan bajet output. Naikkan
max_tokens. Mengapa jawapan kosong. - 429 semasa pengoptimuman. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Kurangkan bilangan thread pengoptimum dan lihat ralat dan cuba semula.
