---
title: "DSPy dspy.LM na may OpenAI-compatible na api_base | BroadRouter"
description: "I-configure ang dspy.LM para sa BroadNet Inference gamit ang openai/, api_base at model_type=\"chat\", dahil sa Responses API dinadala ng DSPy 3.5 ang OpenAI models."
url: https://broadrouter.com/fil/guides/dspy-openai-compatible/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/guides/dspy-openai-compatible/) (na-update noong 2026-11-16).

# DSPy sa BroadNet Inference: i-set ang model\_type="chat"

Na-update 2026-11-16

Gumawa ng dspy.LM na may model na "openai/broadnet/glm-5.3", model\_type="chat", api\_base na https://inference.broadnet.ai/v1 at ang BroadNet api\_key mo, saka ipasa ito sa dspy.configure. Mahalaga ang model\_type="chat": Responses API ang default ng DSPy 3.5 sa mga model na may openai/ prefix, na hindi sine-serve ng BroadNet. Sa mock-server test namin, kung wala ito, napunta ang call sa /v1/responses at nag-404; 404 din ang sagot ng live na endpoint ng BroadNet doon.

Ang DSPy ay Python framework para sa pagprograma ng mga language model gamit ang signatures at modules, at para sa pag-optimize ng mga prompt sa likod nito. Ikinokonekta mo ito sa isang model gamit ang `dspy.LM`. Ipinapakita ng docs ng DSPy ang mga OpenAI-compatible na server bilang `openai/` model na may `api_base`. Para sa BroadNet Inference, na nagse-serve ng chat completions sa `https://inference.broadnet.ai/v1`, kailangan mo rin ang `model_type="chat"`. Sariling site ng BroadNet ang BroadRouter; sinusundan nito ang docs ng DSPy para sa 3.5.

## I-install

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## Ikonekta

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`**: sinasabi nito sa DSPy na gamitin ang OpenAI client nito. Ang natitira sa string, `broadnet/glm-5.3`, ang model ID na ipinapadala sa BroadNet.
-   **`model_type="chat"`**: pinapanatili nito ang DSPy sa `/v1/chat/completions`. Ayon sa LM reference ng DSPy, dahil sa default na `'auto'`, ang mga OpenAI model ay “use Responses” (Salin: gumagamit ng Responses).
-   **`max_tokens`**: nag-iiwan ito ng espasyo para sa reasoning. Nag-iisip muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang pag-iisip sa limit.

## Ano ang nangyayari kapag walang model\_type

Walang `model_type` ang halimbawa sa installation page ng DSPy para sa OpenAI-compatible na server. Sa test namin gamit ang DSPy 3.5.0, ipinadala nito ang request sa `/v1/responses` na may `max_output_tokens`, at pumalya ang call:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

Galing ang error na iyon sa mock server namin. 404 din ang isinagot ng live na endpoint ng BroadNet sa `/v1/responses` nang suriin namin noong 2026-11-16. Naayos ito nang idagdag ang `model_type="chat"`.

## Mga module at model

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| Gamit sa DSPy | Model |
| --- | --- |
| `Predict`, `ChainOfThought`, mga optimizer run | `broadnet/deepseek-v4.1-flash` (mababang presyo kada token; mga flat-price na plan) |
| `ReAct` at iba pang module na tumatawag ng tools | `broadnet/glm-5.3` o `broadnet/qwen3.8-27b` |
| Pagsubok sa DSPy gamit ang panimulang credit | `broadnet/gemma-4-26b-a4b` (32,768-token na context) |

Nakalista sa docs ng BroadNet ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B lang. Puwede kang gumamit ng isang model para sa program at iba para sa optimizer, bawat isa ay may sariling `dspy.LM`. [Presyo ng bawat model](https://broadrouter.com/fil/pricing/).

## Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng dspy 3.5.0 sa malinis na virtual environment at pinatakbo ang `dspy.Predict` laban sa isang local na mock server na sumusunod sa hugis ng chat-completions ng BroadNet at sumasagot ng 404 sa `/v1/responses`. Kapag walang `model_type`, tinawag ng DSPy ang `/v1/responses` at pumalya. Kapag may `model_type="chat"`, tinawag nito ang `/v1/chat/completions` gamit ang model ID na `broadnet/glm-5.3` at isang Bearer key, at na-parse nito ang answer field. Nakita namin na ipinadala ng DSPy ang output limit bilang `max_completion_tokens`. `max_tokens` ang inilalarawan ng API reference ng BroadNet at hindi nito binabanggit ang `max_completion_tokens`, kaya hindi namin makumpirma na sinusunod ng BroadNet ang limit na ipinadala sa ganoong paraan. Sa mock server kami nag-test, hindi gamit ang BroadNet key, kaya hindi namin nasuri ang totoong output ng model.

## Troubleshooting

-   **404 sa /v1/responses.** Idagdag ang `model_type="chat"`.
-   **404 sa /v1/chat/completions.** Kailangang nagtatapos sa `/v1` ang `api_base`, at ang model string ay dapat `openai/` kasama ang buong BroadNet ID. Kailangan ng top-up para sa mga bayad na model; `broadnet/gemma-4-26b-a4b` at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
-   **“Expected to find output fields”.** Walang laman o putol ang sagot, kadalasan dahil naubos ng reasoning ang output budget. Taasan ang `max_tokens`. [Bakit walang laman ang mga sagot](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).
-   **429 habang nag-o-optimize.** Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Babaan ang thread count ng optimizer at tingnan ang [errors and retries](https://broadrouter.com/fil/guides/errors-and-retries/).

## Mga termino sa gabay na ito

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Chat Completions API](https://broadrouter.com/fil/glossary/chat-completions-api/)

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[max\_tokens](https://broadrouter.com/fil/glossary/max-tokens/)

Ang max\_tokens ay isang parameter ng LLM API na nagtatakda ng pinakamaraming token na puwedeng isulat ng model sa isang response. Kapag naabot ang limit, humihinto ang pagbuo ng sagot at minamarkahang naputol ang response, halimbawa may finish\_reason na "length".

[Prepaid credit](https://broadrouter.com/fil/glossary/prepaid-credit/)

Ang prepaid credit ay perang idinadagdag sa isang API account bago gamitin. Ibinabawas sa balance ang gastos ng bawat request, at kapag naubos ang balance, titigil ang mga metered request hanggang mag-top-up ka. Nililimitahan nito ang gastos sa halagang naibayad mo na.

## Mga tanong

### Bakit /v1/responses ang tinatawag ng DSPy sa BroadNet?

Ayon sa reference ng dspy.LM sa DSPy 3.5, dahil sa model\_type na 'auto', ang default, Responses API ang ginagamit ng mga OpenAI model. Ganoon din ang trato sa openai/ model na may custom na api\_base. Ipasa ang model\_type="chat" para gumamit ng chat completions, na siyang sine-serve ng BroadNet.

### Paano isulat ang BroadNet model ID sa DSPy?

Lagyan ng openai/ sa unahan ang BroadNet ID, halimbawa openai/broadnet/glm-5.3. Ginagamit ng DSPy ang openai/ para piliin ang client, at sa test namin, broadnet/glm-5.3 ang ipinadala nito bilang model.

### Aling BroadNet model ang bagay sa mga optimizer ng DSPy?

Maraming call ang ginagawa ng mga optimizer, kaya mahalaga ang gastos at rate limits. Mababa ang presyo kada token ng DeepSeek V4.1 Flash, at ito ang model sa mga flat-price na plan ng BroadNet, na hindi metrado kada token. Gamitin ang GLM 5.3 o Qwen3.8 27B para sa mga module na tumatawag ng tools, gaya ng ReAct.

### May epekto ba ang cache ng DSPy sa BroadNet?

Bilang default, kina-cache ng DSPy ang mga LM call (cache=True), kaya walang gastos ang pag-ulit ng parehong call. I-set ang cache=False habang sinusuri mo ang connection, kung hindi ay baka naka-cache na sagot ang tinitingnan mo.

## Mga kaugnay na gabay

-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)
-   [Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Lahat ng tool na gumagana sa BroadNet Inference (Ingles)](https://broadrouter.com/integrations/): mga SDK, coding agent, chat UI at automation tool, kasama ang eksaktong setting ng bawat isa

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-dspy-openai-compatible&utm_content=page-cta) ·

**Mga source**

-   [DSPy docs, Installation at setup ng language model (page na may petsang 2026-11-10, sinuri noong 2026-11-15)](https://dspy.ai/current/getting-started/installation/)
-   [DSPy docs, API reference ng dspy.LM (model\_type) (sinuri noong 2026-11-15)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (sinuri noong 2026-11-15)](https://pypi.org/project/dspy/)
-   [API reference ng BroadNet Inference (sinuri noong 2026-11-16) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-dspy-openai-compatible&utm_content=sources)
