DSPy, dil modellerini imzalar (signatures) ve modüllerle programlamaya ve bunların arkasındaki istemleri optimize etmeye yarayan bir Python çerçevesidir. Bir modele dspy.LM ile bağlanırsınız. DSPy’ın belgeleri OpenAI uyumlu sunucuları api_base içeren bir openai/ modeli olarak gösterir. Chat completions’ı https://inference.broadnet.ai/v1 adresinde sunan BroadNet Inference için ayrıca model_type="chat" gerekir. BroadRouter, BroadNet’in kendi sitesidir; bu rehber DSPy 3.5 belgelerini izler.
Kurulum
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Bağlanma
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/, DSPy’a OpenAI istemcisini kullanmasını söyler. Dizenin geri kalanı, yanibroadnet/glm-5.3, BroadNet’e gönderilen model kimliğidir.model_type="chat", DSPy’ı/v1/chat/completionsüzerinde tutar. DSPy’ın LM referansına göre varsayılan değer'auto', OpenAI modellerinin “use Responses” (çeviri: “Responses kullanmasına”) yol açar.max_tokens, akıl yürütmeye pay bırakır. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce düşünür ve düşünme bu sınıra dahildir.
model_type olmadan ne olur
DSPy’ın kurulum sayfasındaki OpenAI uyumlu sunucu örneğinde model_type yoktur. DSPy 3.5.0 ile yaptığımız testte bu, isteği max_output_tokens ile /v1/responses adresine gönderdi ve çağrı başarısız oldu:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Bu hata bizim mock sunucumuzdan geldi. 2026-11-16’da kontrol ettiğimizde BroadNet’in canlı uç noktası da /v1/responses isteğine 404 ile yanıt verdi. model_type="chat" eklemek sorunu çözdü.
Modüller ve modeller
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| DSPy kullanımı | Model |
|---|---|
Predict, ChainOfThought, optimizer çalıştırmaları |
broadnet/deepseek-v4.1-flash (düşük token başına fiyat; sabit fiyatlı planlar) |
ReAct ve araç çağıran diğer modüller |
broadnet/glm-5.3 veya broadnet/qwen3.8-27b |
| DSPy’ı başlangıç kredisiyle denemek | broadnet/gemma-4-26b-a4b (32.768 token bağlam) |
BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca GLM 5.3 ve Qwen3.8 27B için listeler. Program için bir model, optimizer için başka bir model kullanabilirsiniz; her biri kendi dspy.LM nesnesiyle. Tüm modellerin fiyatları.
Bunu nasıl test ettik
2026-11-15’te dspy 3.5.0’ı temiz bir sanal ortama kurduk ve dspy.Predict’i, BroadNet’in chat completions yapısını konuşan ve /v1/responses isteklerine 404 döndüren yerel bir mock sunucuya karşı çalıştırdık. model_type olmadan DSPy /v1/responses çağırdı ve başarısız oldu. model_type="chat" ile broadnet/glm-5.3 model kimliği ve bir Bearer anahtarıyla /v1/chat/completions çağırdı ve answer alanını ayrıştırdı. DSPy’ın çıktı sınırını max_completion_tokens olarak gönderdiğini gördük; BroadNet’in API referansı ise max_tokens alanını tanımlar ve max_completion_tokens’tan söz etmez; bu yüzden BroadNet’in bu şekilde gönderilen bir sınırı uyguladığını doğrulayamıyoruz. Testi BroadNet anahtarıyla değil, bir mock sunucuya karşı yaptık; bu yüzden gerçek model çıktısını kontrol etmedik.
Sorun giderme
- /v1/responses üzerinde 404.
model_type="chat"ekleyin. - /v1/chat/completions üzerinde 404.
api_base/v1ile bitmeli, model dizesi deopenai/artı tam BroadNet kimliği olmalıdır. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızcabroadnet/gemma-4-26b-a4bmodelini ve iki Transcribe modelini kapsar. - “Expected to find output fields”. Yanıt boş geldi ya da yarıda kesildi; bunun nedeni çoğu zaman akıl yürütmenin çıktı bütçesini tüketmesidir.
max_tokensdeğerini artırın. Yanıtlar neden boş geliyor. - Optimizasyon sırasında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Optimizer’ın iş parçacığı (thread) sayısını düşürün ve hatalar ve yeniden denemeler rehberine bakın.
