---
title: "LangChain ChatOpenAI base_url 변경하기 | BroadRouter"
description: "LangChain의 ChatOpenAI를 base_url과 api_key로 BroadNet Inference에 연결하고, 추론 모델의 응답 중 LangChain이 유지하는 것과 버리는 것을 알아봅니다."
url: https://broadrouter.com/ko/guides/langchain-openai-base-url/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/langchain-openai-base-url/) (2026-11-16 업데이트).

# BroadNet Inference에서 LangChain 사용하기

업데이트 2026-11-16

langchain-openai를 설치한 뒤 base\_url은 https://inference.broadnet.ai/v1, api\_key는 BroadNet 키, 모델은 broadnet/glm-5.3 같은 BroadNet 모델 ID로 지정해 ChatOpenAI를 만드세요. 그러면 invoke, stream, 도구 호출 체인이 chat completions 위에서 작동합니다. Responses 전용 기능은 피하고, max\_tokens에는 추론에 쓸 여유를 남겨 두세요.

LangChain의 `ChatOpenAI`는 `base_url`을 통해 어떤 엔드포인트든 받아들입니다. BroadNet Inference는 표준 chat completions 형식을 쓰므로 그대로 연결됩니다. LangChain 없이 API를 직접 호출한다면 [Python SDK 가이드](https://broadrouter.com/ko/guides/openai-python-sdk/)를 참고하세요.

## 설치

현재 `langchain-openai` 릴리스(1.x)는 Python 3.11 이상이 필요합니다.

```bash
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
```

## 연결

```python
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
```

코드의 주석대로, 추론에 쓰인 토큰도 `max_tokens` 한도에 포함됩니다.

`openai_api_base`는 `base_url`의 별칭입니다. 둘 다 없으면 LangChain은 `OPENAI_API_BASE`를 읽고, 그다음 내부의 `openai` 클라이언트가 `OPENAI_BASE_URL`을 읽습니다.

## 알아 둘 점

-   **추론 텍스트는 남지 않습니다.** LangChain 문서에 따르면 `ChatOpenAI`는 공식 OpenAI 사양을 따르며 `reasoning_content` 같은 비표준 필드는 유지하지 않습니다. 최종 답변은 받을 수 있고, 체인에 필요한 것은 대개 그것입니다.
-   **추론할 여유를 남기세요.** GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B는 먼저 추론합니다. `max_tokens`가 작으면 빈 답변이 돌아올 수 있습니다. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **스트리밍 사용량.** `OPENAI_BASE_URL`로 엔드포인트를 설정하면 LangChain은 기본적으로 `stream_usage`를 끕니다. 스트리밍 중에 토큰 수를 받으려면 `stream_usage=True`를 넘기세요. BroadNet 문서에 따르면 사용량을 요청한 경우 마지막 청크에 담겨 옵니다.
-   **chat completions만 쓰세요.** BroadNet은 Responses API가 아니라 `/v1/chat/completions`를 제공합니다. LangChain 문서에 따르면 OpenAI 내장 도구(웹 검색, 파일 검색, 코드 인터프리터 등), 대화 상태, `reasoning` 파라미터를 쓰면 `ChatOpenAI`가 Responses API로 전환합니다. 이런 기능은 빼고, `use_responses_api=True`도 설정하지 마세요.
-   **토큰 한도 파라미터 이름.** LangChain 문서에 따르면 `max_tokens`는 내부적으로 `max_completion_tokens`로 변환됩니다. BroadNet 문서는 `max_tokens`를 기준으로 설명합니다. 한도가 무시되는 것 같으면 앱이 실제로 보내는 요청을 확인하세요.

## 체인별 추천 모델

| 체인 | 모델 |
| --- | --- |
| 도구 호출과 구조화된 출력 | `broadnet/glm-5.3` |
| 긴 문서와 에이전트, 무제한 플랜 | `broadnet/deepseek-v4.1-flash` |
| 아랍어 텍스트나 이미지 | `broadnet/qwen3.8-27b` |

[모든 모델의 가격 보기](https://broadrouter.com/ko/pricing/)

## 문제 해결

-   **401.** 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. `api_key`를 넘기지 않았다면 LangChain이 `OPENAI_API_KEY`를 썼을 수 있고, 거기에는 OpenAI 키가 들어 있을 수 있습니다.
-   **404 또는 “not found”.** `base_url`이 `/v1`로 끝나는지, 호출을 Responses API로 보내는 설정이 없는지(위 참고) 확인하세요. 그다음 모델 ID가 `broadnet/` 접두사까지 포함해 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
-   **`content`가 비어 있음.** 추론이 예산을 다 썼습니다. `max_tokens`를 늘리세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **도구 호출이 일어나지 않음.** `broadnet/glm-5.3` 또는 `broadnet/qwen3.8-27b` 모델을 쓰세요. BroadNet 문서는 이 두 모델에만 도구 지원을 표기합니다.
-   **배치나 병렬 체인에서 429.** 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. `batch()`에는 runnable config에서 `max_concurrency`를 설정하세요. [오류 코드와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/)

컨텍스트 윈도우는 언어 모델이 요청 한 번에 다룰 수 있는 최대 토큰 수입니다. 프롬프트, 대화 기록, 도구 정의, 이미지, 그리고 추론 토큰을 포함한 생성 출력이 모두 여기에 들어갑니다. 들어가지 않는 내용은 잘라 내거나 요약하거나 여러 요청으로 나눠야 합니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[Chat Completions API](https://broadrouter.com/ko/glossary/chat-completions-api/)

Chat Completions API는 OpenAI의 HTTP 엔드포인트인 POST /v1/chat/completions로, 모델 이름과 역할이 붙은 메시지 목록을 받아 모델의 다음 메시지를 반환합니다. 이 요청과 응답 구조는 OpenAI 호환 제공업체와 SDK가 재사용하는 공통 형식이 되었습니다.

## 자주 묻는 질문

### ChatOpenAI에서 base\_url과 openai\_api\_base 중 무엇을 써야 하나요?

어느 쪽이든 됩니다. openai\_api\_base는 base\_url의 별칭입니다. 둘 다 넘기지 않으면 LangChain이 OPENAI\_API\_BASE를 확인하고, 그다음 openai 클라이언트가 OPENAI\_BASE\_URL을 읽습니다.

### 환경 변수만으로 BroadNet 엔드포인트를 설정할 수 있나요?

네. OPENAI\_BASE\_URL을 https://inference.broadnet.ai/v1로, OPENAI\_API\_KEY를 BroadNet 키로 설정한 다음 모델 ID만 넣어 ChatOpenAI를 만드세요. 스트리밍 중에 토큰 수를 받으려면 stream\_usage=True를 넘기세요.

### LangChain은 왜 BroadNet 응답에서 reasoning\_content를 버리나요?

LangChain 문서에 따르면 ChatOpenAI는 공식 OpenAI 사양을 따르며 reasoning\_content 같은 비표준 필드는 추출하지 않습니다. 최종 답변은 content에 그대로 들어옵니다.

### BroadNet에 연결한 ChatOpenAI에서 도구 호출이 되나요?

네. BroadNet이 도구 지원 모델로 표기한 모델에서 bind\_tools로 쓸 수 있습니다. 도구 호출과 with\_structured\_output에는 broadnet/glm-5.3 또는 broadnet/qwen3.8-27b를 쓰세요.

## 관련 가이드

-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [BroadNet Inference에서 OpenAI Agents SDK 실행하기](https://broadrouter.com/ko/guides/openai-agents-sdk-custom-provider/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-langchain-openai-base-url&utm_content=page-cta) ·

**출처**

-   [LangChain 문서, ChatOpenAI 통합(2026-11-14 확인)](https://docs.langchain.com/oss/python/integrations/chat/openai)
-   [PyPI, langchain-openai 패키지(1.8, Python 3.11 이상, 2026-11-14 확인)](https://pypi.org/project/langchain-openai/)
-   [langchain-openai 소스, ChatOpenAI base URL 결정 방식(2026-11-16 확인)](https://github.com/langchain-ai/langchain/blob/master/libs/partners/openai/langchain_openai/chat_models/base.py)
-   [BroadNet Inference API 레퍼런스 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-langchain-openai-base-url&utm_content=sources)
