---
title: "CrewAI 커스텀 OpenAI 호환 base_url 설정 | BroadRouter"
description: "LLM(custom_openai=True, base_url=...)으로 CrewAI 에이전트를 BroadNet Inference에 연결하고, 도구·긴 컨텍스트·정액 플랜에 맞는 모델을 고르는 방법을 설명합니다."
url: https://broadrouter.com/ko/guides/crewai-custom-openai-endpoint/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/crewai-custom-openai-endpoint/) (2026-11-16 업데이트).

# CrewAI에서 BroadNet Inference를 커스텀 OpenAI 엔드포인트로 쓰기

업데이트 2026-11-16

crewai의 LLM 클래스로 모델을 만들고 model은 broadnet/glm-5.3 같은 BroadNet ID, custom\_openai=True, base\_url은 https://inference.broadnet.ai/v1, api\_key는 BroadNet 키로 넘기세요. 그다음 이 LLM을 각 Agent에 지정하면 됩니다. CrewAI는 네이티브 OpenAI 클라이언트와 chat completions를 쓰므로 LiteLLM을 설치할 필요가 없습니다.

CrewAI는 여러 에이전트로 팀을 구성하는 Python 프레임워크입니다. CrewAI 문서에는 **커스텀 OpenAI 호환 엔드포인트** 패턴이 나옵니다. `custom_openai=True`와 `base_url`을 지정한 `LLM`을 쓰는 방식입니다. BroadNet Inference는 `https://inference.broadnet.ai/v1` 주소에서 표준 chat completions를 제공하므로 여기에 그대로 연결됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 버전 1.15.41 기준 CrewAI 문서와 소스를 따릅니다.

## 설치

```bash
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
```

## 연결

```python
import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
```

`llm.call`이 답을 출력하면 키, URL, 모델 ID가 모두 맞는 것입니다.

## CrewAI가 요청을 라우팅하는 방식

CrewAI 소스는 우선순위를 정해 둡니다. `custom_openai=True`가 가장 먼저 적용되어, 모델 이름이 무엇을 암시하든 네이티브 OpenAI 제공자를 강제로 씁니다. 또한 `base_url`, `api_base`, `OPENAI_BASE_URL`, `OPENAI_API_BASE` 중 하나로 커스텀 엔드포인트가 지정되지 않으면 오류를 냅니다. 모델 문자열은 적힌 그대로 전송되므로, `broadnet/glm-5.3` 값이 바뀌지 않고 BroadNet에 도달합니다.

`custom_openai`가 없으면 `broadnet/glm-5.3` 같은 이름은 CrewAI가 모르는 `broadnet`이라는 제공자로 읽혀 LiteLLM으로 넘어갑니다. 문서에 나온 다른 방법은 `base_url`과 함께 `model="openai/broadnet/glm-5.3"`로 쓰는 것입니다. 이때 CrewAI는 `openai/` 접두사를 떼고 나머지를 보냅니다.

CrewAI 코드와 문서에서 확인한 내용이 두 가지 더 있습니다.

-   **토큰 한도 필드.** `max_tokens`를 넘기면 네이티브 클라이언트는 chat completions에 `max_tokens`를 보냅니다. BroadNet API 레퍼런스가 설명하는 필드입니다. `max_completion_tokens`를 넘기면 그 필드가 대신 전송됩니다.
-   **chat completions를 유지하세요.** CrewAI 문서에는 Responses API로 바꾸는 `api="responses"`가 나옵니다. 이 옵션은 설정하지 마세요. BroadNet은 이 API를 제공한다고 표기하지 않습니다.

## 에이전트별 모델 선택

| 에이전트 | 모델 | 이유 |
| --- | --- | --- |
| 도구를 쓰는 에이전트 | `broadnet/glm-5.3` | BroadNet이 도구와 구조화된 출력을 표기, 1M 컨텍스트 |
| 이미지나 아랍어 입력과 도구 | `broadnet/qwen3.8-27b` | 도구와 이미지, 262K 컨텍스트 |
| 긴 문서 읽기 작업, 정액 플랜 | `broadnet/deepseek-v4.1-flash` | 무제한 플랜, BroadNet이 도구 지원을 표기하지 않음 |

한 crew 안에서 모델을 섞어 쓸 수도 있습니다. `Agent`마다 각자의 `LLM`을 지정하세요.

## 문제 해결

-   **401.** 키가 틀렸거나 만료되었거나 사용 가능 금액이 소진되었습니다. `api_key`를 빼먹었다면 CrewAI가 `OPENAI_API_KEY`를 읽었을 수 있으며, 거기에는 OpenAI 키가 들어 있을 수 있습니다.
-   **“custom\_openai=True requires base\_url”.** `base_url`을 넘기거나 `OPENAI_BASE_URL`을 설정하세요.
-   **모델을 찾을 수 없음.** ID가 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
-   **`EmptyLLMResponseError`.** CrewAI는 빈 답변을 한 번 재시도한 뒤 이 오류를 냅니다. `max_tokens`를 늘리세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **에이전트가 여럿일 때 429.** 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하고, 플랜 세션은 한 번에 요청 하나를 처리합니다. [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/)

컨텍스트 윈도우는 언어 모델이 요청 한 번에 다룰 수 있는 최대 토큰 수입니다. 프롬프트, 대화 기록, 도구 정의, 이미지, 그리고 추론 토큰을 포함한 생성 출력이 모두 여기에 들어갑니다. 들어가지 않는 내용은 잘라 내거나 요약하거나 여러 요청으로 나눠야 합니다.

[LLM 정액 플랜(Flat-rate LLM plan)](https://broadrouter.com/ko/glossary/flat-rate-llm-plan/)

LLM 정액 플랜은 언어 모델 API를 토큰당 과금하지 않고, 한 달 같은 기간 단위로 고정 요금을 받는 요금제입니다. 이런 플랜은 보통 동시 실행 수, 속도, 모델, 사용 시간대 같은 다른 항목을 제한하므로 가격만큼 제한 조건도 중요합니다.

## 자주 묻는 질문

### CrewAI에서 custom\_openai=True는 무슨 역할을 하나요?

CrewAI 소스에 따르면 이 옵션은 모델 이름이 어떻게 생겼든 네이티브 OpenAI 제공자를 강제로 쓰게 하며, base\_url, api\_base, OPENAI\_BASE\_URL, OPENAI\_API\_BASE 중 하나가 있어야 합니다. 모델 문자열은 적힌 그대로 전송되므로 broadnet/glm-5.3이 바뀌지 않고 BroadNet에 도달합니다.

### model="openai/broadnet/glm-5.3"으로 써도 되나요?

네. 커스텀 base\_url이 있으면 CrewAI는 openai/ 접두사를 네이티브 OpenAI 클라이언트로 보내고 접두사를 떼어 내므로, BroadNet은 broadnet/glm-5.3을 받습니다. 다만 custom\_openai=True 쪽이 의도가 더 분명합니다.

### crew가 EmptyLLMResponseError로 실패하는 이유는 무엇인가요?

CrewAI는 내용도 도구 호출도 없는 빈 답변이 오면 한 번 재시도하고, 재시도 결과도 비어 있으면 이 오류를 냅니다. BroadNet의 추론 모델에서는 대개 추론이 출력 예산을 다 썼다는 뜻입니다. max\_tokens를 늘리세요.

### CrewAI 에이전트에는 어떤 BroadNet 모델을 써야 하나요?

도구를 쓰는 에이전트에는 GLM 5.3을 쓰세요. BroadNet이 도구와 구조화된 출력을 표기한 모델입니다. Qwen3.8 27B도 도구를 지원하며 이미지를 받습니다.

## 관련 가이드

-   [BroadNet Inference에서 Pydantic AI 사용하기(OpenAICompatibleProvider)](https://broadrouter.com/ko/guides/pydantic-ai-openai-compatible/)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-crewai-custom-openai-endpoint&utm_content=page-cta) ·

**출처**

-   [CrewAI 문서, LLM(OpenAI, 커스텀 OpenAI 호환 엔드포인트)(2026-11-15 확인)](https://docs.crewai.com/en/concepts/llms)
-   [CrewAI 소스, custom\_openai의 LLM 라우팅(llm.py)(2026-11-15 확인)](https://github.com/crewAIInc/crewAI/blob/main/lib/crewai/src/crewai/llm.py)
-   [PyPI, crewai 1.15.41, Python 3.10~3.13(2026-11-15 확인)](https://pypi.org/project/crewai/)
-   [BroadNet Inference API 레퍼런스(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-crewai-custom-openai-endpoint&utm_content=sources)
