---
title: "DSPy dspy.LM với api_base tương thích OpenAI | BroadRouter"
description: "Cấu hình dspy.LM cho BroadNet Inference với tiền tố openai/, api_base và model_type=\"chat\", vì DSPy 3.5 gửi model OpenAI tới Responses API."
url: https://broadrouter.com/vi/guides/dspy-openai-compatible/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/dspy-openai-compatible/) (cập nhật ngày 2026-11-16).

# Dùng DSPy với BroadNet Inference (đặt model\_type="chat")

Cập nhật 2026-11-16

Tạo dspy.LM với model "openai/broadnet/glm-5.3", model\_type="chat", api\_base là https://inference.broadnet.ai/v1 và api\_key BroadNet, rồi truyền vào dspy.configure. model\_type="chat" là điểm mấu chốt: DSPy 3.5 mặc định đưa model có tiền tố OpenAI tới Responses API, mà BroadNet không phục vụ. Trong thử nghiệm với mock server của chúng tôi, thiếu nó thì lời gọi tới /v1/responses và nhận lỗi 404, và endpoint thật của BroadNet cũng trả lời đường dẫn đó bằng lỗi 404.

DSPy là framework Python để lập trình language model bằng signature và module, và để tối ưu các prompt đằng sau chúng. Bạn kết nối nó với model qua `dspy.LM`. Tài liệu DSPy trình bày server tương thích OpenAI dưới dạng một model `openai/` kèm `api_base`. Với BroadNet Inference, vốn phục vụ chat completions tại `https://inference.broadnet.ai/v1`, bạn còn cần `model_type="chat"`. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu DSPy cho bản 3.5.

## Cài đặt

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## Kết nối

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** báo cho DSPy dùng client OpenAI. Phần còn lại của chuỗi, `broadnet/glm-5.3`, là model ID gửi tới BroadNet.
-   **`model_type="chat"`** giữ DSPy ở `/v1/chat/completions`. Tài liệu tham chiếu LM của DSPy nói giá trị mặc định `'auto'` khiến model OpenAI “use Responses” (Bản dịch: dùng Responses).
-   **`max_tokens`** chừa chỗ cho suy luận. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy nghĩ trước khi trả lời, và phần suy nghĩ được tính vào giới hạn.

## Chuyện gì xảy ra khi thiếu model\_type

Ví dụ cho server tương thích OpenAI trên trang cài đặt của DSPy không có `model_type`. Khi chúng tôi thử với DSPy 3.5.0, request được gửi tới `/v1/responses` kèm `max_output_tokens`, và lời gọi thất bại:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

Lỗi đó đến từ mock server của chúng tôi. Endpoint thật của BroadNet cũng trả lời `/v1/responses` bằng lỗi 404 khi chúng tôi kiểm tra ngày 2026-11-16. Thêm `model_type="chat"` là hết lỗi.

## Module và model

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| Cách dùng DSPy | Model |
| --- | --- |
| `Predict`, `ChainOfThought`, chạy optimizer | `broadnet/deepseek-v4.1-flash` (giá theo token thấp; gói giá cố định) |
| `ReAct` và các module gọi tool khác | `broadnet/glm-5.3` hoặc `broadnet/qwen3.8-27b` |
| Thử DSPy bằng tín dụng ban đầu | `broadnet/gemma-4-26b-a4b` (context 32.768 token) |

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Bạn có thể dùng một model cho chương trình và một model khác cho optimizer, mỗi cái có `dspy.LM` riêng. [Giá của mọi model](https://broadrouter.com/vi/pricing/).

## Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài dspy 3.5.0 trong một môi trường ảo sạch và chạy `dspy.Predict` với một mock server cục bộ nói cùng cấu trúc chat completions của BroadNet và trả lời `/v1/responses` bằng lỗi 404. Thiếu `model_type`, DSPy gọi `/v1/responses` và thất bại. Có `model_type="chat"`, nó gọi `/v1/chat/completions` với model ID `broadnet/glm-5.3` và key Bearer, rồi parse được trường answer. Chúng tôi thấy DSPy gửi giới hạn đầu ra dưới dạng `max_completion_tokens`. Tài liệu tham chiếu API của BroadNet mô tả `max_tokens` và không nhắc tới `max_completion_tokens`, nên chúng tôi không thể xác nhận BroadNet có áp dụng giới hạn gửi theo cách đó hay không. Chúng tôi thử với mock server chứ không dùng key BroadNet, nên chưa kiểm tra đầu ra thật của model.

## Xử lý sự cố

-   **404 trên /v1/responses.** Thêm `model_type="chat"`.
-   **404 trên /v1/chat/completions.** `api_base` phải kết thúc bằng `/v1`, và chuỗi model phải là `openai/` cộng với đầy đủ ID BroadNet. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **“Expected to find output fields”.** Câu trả lời bị rỗng hoặc bị cắt ngắn, thường vì phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng `max_tokens`. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **429 trong lúc tối ưu.** Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Hãy giảm số thread của optimizer và xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

## Câu hỏi thường gặp

### Vì sao DSPy gọi /v1/responses trên BroadNet?

Tài liệu tham chiếu dspy.LM của DSPy 3.5 nói model\_type 'auto', giá trị mặc định, khiến model OpenAI dùng Responses API. Model openai/ với api\_base tùy chỉnh cũng bị xử lý như vậy. Hãy truyền model\_type="chat" để dùng chat completions, thứ BroadNet phục vụ.

### Viết model ID của BroadNet trong DSPy thế nào?

Đặt openai/ trước ID BroadNet, ví dụ openai/broadnet/glm-5.3. DSPy dùng openai/ để chọn client và, khi chúng tôi thử, đã gửi broadnet/glm-5.3 làm model.

### Model BroadNet nào hợp với optimizer của DSPy?

Optimizer gọi model rất nhiều lần, nên chi phí và rate limit rất quan trọng. DeepSeek V4.1 Flash có giá theo token thấp và là model của các gói giá cố định của BroadNet, vốn không tính theo token. Dùng GLM 5.3 hoặc Qwen3.8 27B cho các module gọi tool, như ReAct.

### Cache của DSPy có ảnh hưởng khi dùng BroadNet không?

DSPy mặc định cache các lời gọi LM (cache=True), nên lặp lại cùng một lời gọi không tốn tiền. Hãy đặt cache=False khi đang kiểm tra kết nối, nếu không bạn có thể đang nhìn một câu trả lời từ cache.

## Hướng dẫn liên quan

-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-dspy-openai-compatible&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu DSPy, cài đặt và thiết lập language model (trang ghi ngày 2026-11-10, kiểm tra ngày 2026-11-15)](https://dspy.ai/current/getting-started/installation/)
-   [Tài liệu DSPy, tham chiếu API dspy.LM (model\_type) (kiểm tra ngày 2026-11-15)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (kiểm tra ngày 2026-11-15)](https://pypi.org/project/dspy/)
-   [Tài liệu tham chiếu API BroadNet Inference (kiểm tra ngày 2026-11-16) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-dspy-openai-compatible&utm_content=sources)
