BroadRouter

LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)

업데이트

LiteLLM에서는 BroadNet 모델 ID 앞에 openai/를 붙여 openai/broadnet/glm-5.3처럼 쓰고, api_base를 https://inference.broadnet.ai/v1로, api_key를 BroadNet 키로 설정하세요. 프록시에서는 같은 값을 config.yaml의 litellm_params 아래에 넣고 모델에 짧은 model_name을 붙이면 됩니다.

LiteLLM은 여러 LLM 제공업체를 하나의 인터페이스로 묶어 주며, Python SDK와 프록시 서버 두 형태로 제공됩니다. LiteLLM 문서에 따르면 OpenAI 호환 API에 연결하려면 두 가지만 하면 됩니다. 모델 이름 앞에 openai/를 붙이고 api_base를 설정하는 것입니다. BroadNet Inference도 이 경로를 씁니다.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

코드 주석대로 추론에 쓰인 토큰도 max_tokens에 포함됩니다.

openai/는 경로를 고르는 역할을 하고, LiteLLM이 BroadNet에 보내는 값은 broadnet/glm-5.3 부분입니다. base URL 뒤에는 아무것도 붙이지 마세요. 엔드포인트 경로는 LiteLLM의 OpenAI 클라이언트가 붙입니다.

LiteLLM 문서에 따르면 openai 경로는 공식 OpenAI Python 라이브러리를 쓰며, 이 라이브러리는 모든 요청에 API 키를 요구합니다. 위 코드처럼 api_key를 명시적으로 넘겨서, LiteLLM이 OpenAI용 OPENAI_API_KEY로 대신 넘어가는 일이 없게 하세요. 응답은 OpenAI 형식으로 돌아오므로 나머지 코드는 바꿀 필요가 없습니다.

프록시는 언제 쓸까

Python 앱 하나 안에서는 SDK로 충분합니다. 프록시는 여러 앱이나 여러 언어가 같은 모델을 써야 할 때 유용합니다. 모든 앱이 짧은 모델 이름으로 OpenAI 방식 엔드포인트 하나를 호출하고, BroadNet 키 보관, 속도 제한 적용, 사용량 기록은 프록시가 맡습니다. 그러면 앱에는 BroadNet 전용 설정이 전혀 필요 없습니다.

2. 프록시 서버

프록시용 추가 패키지를 설치하고 config.yaml을 작성하세요.

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

프록시를 시작하고 일반 OpenAI 엔드포인트처럼 호출하세요.

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

curl 명령은 주석대로 두 번째 터미널에서 실행합니다.

os.environ/BROADNET_API_KEY_GLM은 그 키를 환경 변수에서 읽으라는 뜻입니다. 항목마다 별도의 BroadNet 종량제 키를 쓰므로, LiteLLM의 배포(deployment)별 선택적 속도 제한인 rpm: 30은 각 키의 한도와 같습니다. 여러 항목이 키 하나를 함께 쓰면 그 한도 하나를 나눠 쓰게 되므로, 숫자를 항목별로 나눠 설정하세요. master_key를 설정하면 프록시가 모든 호출에 키를 요구합니다. LiteLLM 문서에 따르면 이 키는 sk-로 시작해야 합니다. 프록시를 시작하기 전에 LITELLM_MASTER_KEY를 export하세요.

어떤 모델을 고를까

model_name BroadNet 모델 용도
glm GLM 5.3 도구, 구조화된 출력, 100만 토큰 컨텍스트
deepseek-flash DeepSeek V4.1 Flash 긴 컨텍스트, 무제한 플랜 모델
qwen Qwen3.8 27B 이미지, 도구, 아랍어
(필요하면 추가) Gemma 4 VL 26B 낮은 토큰당 가격, 초기 크레딧($5 상당)으로 사용 가능

가격은 가격 페이지에 있습니다. 다른 게이트웨이에서 옮겨 온다면 마이그레이션 체크리스트에서 무엇을 테스트해야 하는지 확인하세요.

문제 해결

  • 401. BroadNet 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. 401이 프록시 자체에서 나온 것이라면 보낸 LiteLLM 키를 확인하세요.
  • Not Found. api_base가 /v1까지 포함한 https://inference.broadnet.ai/v1 주소인지 확인하세요. base URL이 맞다면 openai/ 뒤의 모델 ID가 BroadNet의 ID와 정확히 같은지 확인하세요.
  • 새 계정에서 모델이 거부됨. GLM 5.3, Qwen3.8 27B, DeepSeek V4.1 Flash는 먼저 충전해야 합니다. 초기 크레딧($5 상당)으로는 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
  • content가 비어 있음. 추론도 max_tokens에 포함됩니다. 값을 늘리거나 reasoning_effort="low"를 보내세요. 답변이 비어서 오는 이유를 참고하세요.
  • 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 앞의 한도는 LiteLLM의 rpm으로 맞출 수 있습니다. 동시 호출은 키당 4 건 이하로 유지하세요. 오류와 재시도를 참고하세요.
  • 플랜 키로 에이전트 병렬 실행. 플랜 세션 하나는 한 번에 요청 하나를 처리합니다. 세션 하나로 프록시를 거쳐 여러 에이전트를 돌리면 대기열에 쌓이므로, 병렬 에이전트마다 세션을 하나씩 구매하세요.

자주 묻는 질문

LiteLLM이 Not Found 오류를 반환하는 이유는 무엇인가요?

LiteLLM 문서는 api_base가 /v1로 끝나는지 확인하라고 안내합니다. https://inference.broadnet.ai/v1을 쓰고 /chat/completions는 붙이지 마세요.

모델 이름이 왜 openai/broadnet/glm-5.3인가요?

openai/ 접두사는 LiteLLM에 OpenAI 방식의 /chat/completions 엔드포인트를 호출하라고 알려 줍니다. LiteLLM은 접두사로 경로를 정하고, 나머지인 broadnet/glm-5.3을 보내는데 이것이 BroadNet 모델 ID입니다.

BroadNet 무제한 플랜 키를 공유 LiteLLM 프록시 뒤에 둬도 되나요?

플랜 키는 공유하거나 재판매할 수 없고, 세션 하나는 한 번에 요청 하나를 처리합니다. 본인의 에이전트에만 쓰세요. 팀용 프록시에는 종량제 키를 쓰세요.

LiteLLM이 BroadNet을 호출하려면 OPENAI_API_KEY가 필요한가요?

openai 경로는 모든 요청에 키가 필요하며, api_key나 OPENAI_API_KEY에서 가져옵니다. BroadNet 키를 api_key로 넘기거나 프록시에서는 os.environ/BROADNET_API_KEY를 지정해, LiteLLM이 진짜 OpenAI 키를 BroadNet으로 보내지 않게 하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기