---
title: "DSPy dspy.LM OpenAI 호환 api_base 설정 | BroadRouter"
description: "DSPy 3.5는 OpenAI 모델을 Responses API로 보내므로, openai/ 접두사와 api_base, model_type=\"chat\"으로 dspy.LM을 BroadNet Inference에 맞게 설정합니다."
url: https://broadrouter.com/ko/guides/dspy-openai-compatible/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/dspy-openai-compatible/) (2026-11-16 업데이트).

# DSPy에서 BroadNet Inference 쓰기(model\_type="chat" 설정)

업데이트 2026-11-16

dspy.LM을 모델 "openai/broadnet/glm-5.3", model\_type="chat", api\_base는 https://inference.broadnet.ai/v1, api\_key는 BroadNet 키로 만들고 dspy.configure에 넘기세요. 핵심은 model\_type="chat"입니다. DSPy 3.5는 OpenAI 접두사 모델을 기본으로 Responses API에 보내는데, BroadNet은 이 API를 제공하지 않습니다. 저희 모의 서버 테스트에서 이 설정을 빼면 /v1/responses로 호출되어 404를 받았고, BroadNet의 실제 엔드포인트도 이 경로에 404로 응답합니다.

DSPy는 시그니처와 모듈로 언어 모델을 프로그래밍하고, 그 뒤의 프롬프트를 최적화하는 Python 프레임워크입니다. 모델은 `dspy.LM`으로 연결합니다. DSPy 문서는 OpenAI 호환 서버를 `api_base`를 지정한 `openai/` 모델로 연결하는 방법을 보여 줍니다. `https://inference.broadnet.ai/v1` 주소에서 chat completions를 제공하는 BroadNet Inference에는 `model_type="chat"`도 필요합니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 DSPy 3.5 문서를 따릅니다.

## 설치

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## 연결

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`**: DSPy에 OpenAI 클라이언트를 쓰라고 알려 줍니다. 문자열의 나머지인 `broadnet/glm-5.3` 부분이 BroadNet으로 보내는 모델 ID입니다.
-   **`model_type="chat"`**: DSPy가 `/v1/chat/completions`를 계속 쓰게 합니다. DSPy LM 레퍼런스에 따르면 기본값 `'auto'`는 OpenAI 모델이 “use Responses”(번역: Responses를 사용)하게 합니다.
-   **`max_tokens`**: 추론할 여유를 남겨 둡니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 생각하며, 그 생각도 한도에 포함됩니다.

## model\_type을 빼면 생기는 일

DSPy 설치 페이지의 OpenAI 호환 서버 예제에는 `model_type`이 없습니다. DSPy 3.5.0으로 테스트해 보니, 그 상태에서는 요청이 `max_output_tokens`와 함께 `/v1/responses`로 전송되었고 호출이 실패했습니다.

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

이 오류는 저희 모의(mock) 서버에서 나온 것입니다. 2026-11-16에 확인했을 때 BroadNet의 실제 엔드포인트도 `/v1/responses`에 404로 응답했습니다. `model_type="chat"`을 추가하자 해결되었습니다.

## 모듈과 모델

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| DSPy 용도 | 모델 |
| --- | --- |
| `Predict`, `ChainOfThought`, 옵티마이저 실행 | `broadnet/deepseek-v4.1-flash` (낮은 토큰당 가격, 정액 플랜) |
| `ReAct` 등 도구를 호출하는 모듈 | `broadnet/glm-5.3` 또는 `broadnet/qwen3.8-27b` |
| 초기 크레딧으로 DSPy 시험해 보기 | `broadnet/gemma-4-26b-a4b` (32,768토큰 컨텍스트) |

BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. 프로그램용 모델과 옵티마이저용 모델을 따로 두고, 각각 `dspy.LM`을 만들어 쓸 수도 있습니다. [모든 모델의 가격](https://broadrouter.com/ko/pricing/)을 확인하세요.

## 테스트 방법

2026-11-15에 깨끗한 가상 환경에 dspy 3.5.0을 설치하고, BroadNet의 chat completions 형식으로 응답하며 `/v1/responses`에는 404를 반환하는 로컬 모의 서버를 대상으로 `dspy.Predict`를 실행했습니다. `model_type`이 없으면 DSPy는 `/v1/responses`를 호출해 실패했습니다. `model_type="chat"`을 넣으면 모델 ID `broadnet/glm-5.3` 값과 Bearer 키로 `/v1/chat/completions`를 호출했고, answer 필드를 파싱했습니다. DSPy가 출력 한도를 `max_completion_tokens`로 보낸다는 점도 확인했습니다. BroadNet API 레퍼런스는 `max_tokens`를 설명할 뿐 `max_completion_tokens`는 언급하지 않으므로, 이렇게 보낸 한도를 BroadNet이 적용하는지는 확인할 수 없습니다. BroadNet 키가 아니라 모의 서버로 테스트했기 때문에 실제 모델 출력은 확인하지 않았습니다.

## 문제 해결

-   **/v1/responses에서 404.** `model_type="chat"`을 추가하세요.
-   **/v1/chat/completions에서 404.** `api_base`는 `/v1`로 끝나야 하고, 모델 문자열은 `openai/`에 BroadNet ID 전체를 붙인 형태여야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
-   **“Expected to find output fields”.** 답이 비었거나 중간에 끊겼다는 뜻으로, 추론이 출력 예산을 다 쓴 경우가 많습니다. `max_tokens`를 늘리세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **최적화 중 429.** 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 옵티마이저의 스레드 수를 줄이고 [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[Chat Completions API](https://broadrouter.com/ko/glossary/chat-completions-api/)

Chat Completions API는 OpenAI의 HTTP 엔드포인트인 POST /v1/chat/completions로, 모델 이름과 역할이 붙은 메시지 목록을 받아 모델의 다음 메시지를 반환합니다. 이 요청과 응답 구조는 OpenAI 호환 제공업체와 SDK가 재사용하는 공통 형식이 되었습니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[LLM 정액 플랜(Flat-rate LLM plan)](https://broadrouter.com/ko/glossary/flat-rate-llm-plan/)

LLM 정액 플랜은 언어 모델 API를 토큰당 과금하지 않고, 한 달 같은 기간 단위로 고정 요금을 받는 요금제입니다. 이런 플랜은 보통 동시 실행 수, 속도, 모델, 사용 시간대 같은 다른 항목을 제한하므로 가격만큼 제한 조건도 중요합니다.

## 자주 묻는 질문

### DSPy가 BroadNet에서 /v1/responses를 호출하는 이유는 무엇인가요?

DSPy 3.5의 dspy.LM 레퍼런스에 따르면 기본값인 model\_type 'auto'는 OpenAI 모델이 Responses API를 쓰게 합니다. 커스텀 api\_base를 지정한 openai/ 모델도 똑같이 취급됩니다. BroadNet이 제공하는 chat completions를 쓰려면 model\_type="chat"을 넘기세요.

### DSPy에서 BroadNet 모델 ID는 어떻게 쓰나요?

BroadNet ID 앞에 openai/를 붙여 openai/broadnet/glm-5.3처럼 쓰세요. DSPy는 openai/로 클라이언트를 고르며, 저희 테스트에서는 broadnet/glm-5.3을 모델로 보냈습니다.

### DSPy 옵티마이저에는 어떤 BroadNet 모델이 맞나요?

옵티마이저는 호출을 많이 하므로 비용과 속도 제한이 중요합니다. DeepSeek V4.1 Flash는 토큰당 가격이 낮고, 토큰 단위로 계량되지 않는 BroadNet 정액 플랜의 모델입니다. ReAct처럼 도구를 호출하는 모듈에는 GLM 5.3이나 Qwen3.8 27B를 쓰세요.

### BroadNet과 함께 쓸 때 DSPy 캐시가 영향을 주나요?

DSPy는 기본으로 LM 호출을 캐시하므로(cache=True) 같은 호출을 반복하면 비용이 들지 않습니다. 연결을 확인하는 동안에는 cache=False로 설정하세요. 그렇지 않으면 캐시된 답을 보고 있을 수 있습니다.

## 관련 가이드

-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-dspy-openai-compatible&utm_content=page-cta) ·

**출처**

-   [DSPy 문서, 설치와 언어 모델 설정(페이지 날짜 2026-11-10, 2026-11-15 확인)](https://dspy.ai/current/getting-started/installation/)
-   [DSPy 문서, dspy.LM API 레퍼런스(model\_type)(2026-11-15 확인)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0(2026-11-15 확인)](https://pypi.org/project/dspy/)
-   [BroadNet Inference API 레퍼런스(2026-11-16 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-dspy-openai-compatible&utm_content=sources)
