DSPy là framework Python để lập trình language model bằng signature và module, và để tối ưu các prompt đằng sau chúng. Bạn kết nối nó với model qua dspy.LM. Tài liệu DSPy trình bày server tương thích OpenAI dưới dạng một model openai/ kèm api_base. Với BroadNet Inference, vốn phục vụ chat completions tại https://inference.broadnet.ai/v1, bạn còn cần model_type="chat". BroadRouter là website của chính BroadNet; bài này làm theo tài liệu DSPy cho bản 3.5.
Cài đặt
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Kết nối
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/báo cho DSPy dùng client OpenAI. Phần còn lại của chuỗi,broadnet/glm-5.3, là model ID gửi tới BroadNet.model_type="chat"giữ DSPy ở/v1/chat/completions. Tài liệu tham chiếu LM của DSPy nói giá trị mặc định'auto'khiến model OpenAI “use Responses” (Bản dịch: dùng Responses).max_tokenschừa chỗ cho suy luận. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy nghĩ trước khi trả lời, và phần suy nghĩ được tính vào giới hạn.
Chuyện gì xảy ra khi thiếu model_type
Ví dụ cho server tương thích OpenAI trên trang cài đặt của DSPy không có model_type. Khi chúng tôi thử với DSPy 3.5.0, request được gửi tới /v1/responses kèm max_output_tokens, và lời gọi thất bại:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Lỗi đó đến từ mock server của chúng tôi. Endpoint thật của BroadNet cũng trả lời /v1/responses bằng lỗi 404 khi chúng tôi kiểm tra ngày 2026-11-16. Thêm model_type="chat" là hết lỗi.
Module và model
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Cách dùng DSPy | Model |
|---|---|
Predict, ChainOfThought, chạy optimizer |
broadnet/deepseek-v4.1-flash (giá theo token thấp; gói giá cố định) |
ReAct và các module gọi tool khác |
broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b |
| Thử DSPy bằng tín dụng ban đầu | broadnet/gemma-4-26b-a4b (context 32.768 token) |
Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Bạn có thể dùng một model cho chương trình và một model khác cho optimizer, mỗi cái có dspy.LM riêng. Giá của mọi model.
Chúng tôi đã kiểm thử thế nào
Ngày 2026-11-15, chúng tôi cài dspy 3.5.0 trong một môi trường ảo sạch và chạy dspy.Predict với một mock server cục bộ nói cùng cấu trúc chat completions của BroadNet và trả lời /v1/responses bằng lỗi 404. Thiếu model_type, DSPy gọi /v1/responses và thất bại. Có model_type="chat", nó gọi /v1/chat/completions với model ID broadnet/glm-5.3 và key Bearer, rồi parse được trường answer. Chúng tôi thấy DSPy gửi giới hạn đầu ra dưới dạng max_completion_tokens. Tài liệu tham chiếu API của BroadNet mô tả max_tokens và không nhắc tới max_completion_tokens, nên chúng tôi không thể xác nhận BroadNet có áp dụng giới hạn gửi theo cách đó hay không. Chúng tôi thử với mock server chứ không dùng key BroadNet, nên chưa kiểm tra đầu ra thật của model.
Xử lý sự cố
- 404 trên /v1/responses. Thêm
model_type="chat". - 404 trên /v1/chat/completions.
api_basephải kết thúc bằng/v1, và chuỗi model phải làopenai/cộng với đầy đủ ID BroadNet. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - “Expected to find output fields”. Câu trả lời bị rỗng hoặc bị cắt ngắn, thường vì phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng
max_tokens. Vì sao câu trả lời trả về rỗng. - 429 trong lúc tối ưu. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Hãy giảm số thread của optimizer và xem lỗi và thử lại.
