모델 하나와만 통신하는 애플리케이션에는 라우터가 필요 없습니다. 라우터는 팀이 여러 모델이나 제공업체를 쓰면서 그중 무엇을 쓸지 한곳에서 고르고 싶을 때 등장합니다.
작동 방식
애플리케이션은 OpenAI 형식의 요청을 라우터에 보냅니다. 라우터는 규칙을 적용해 요청을 백엔드로 전달하고, 같은 형식으로 답을 돌려줍니다. 흔한 유형은 세 가지입니다.
- 호스팅형 애그리게이터. 예를 들어 OpenRouter는
https://openrouter.ai/api/v1에서 “hundreds of AI models through a single API endpoint”(번역: 단일 API 엔드포인트로 수백 개의 AI 모델)를 자동 폴백과 함께 제공합니다. 사용자는 키 하나와 청구서 하나만 갖고, 제공업체 계정은 애그리게이터가 보유합니다. - 셀프 호스팅 게이트웨이. LiteLLM Router는 내 인프라에서 실행됩니다. 여러 배포에 트래픽을 분산하고(기본은 단순 셔플, 또는 지연 시간·사용량·비용 기반), 속도 제한 오류를 지수 백오프로 재시도하며, 429나 높은 실패율이 나온 배포는 쿨다운에 넣습니다.
- 모델 선택 라우터. RouteLLM 같은 연구는 분류기를 학습시켜 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 품질을 잃지 않고 비용을 줄입니다.
셀프 호스팅 게이트웨이는 백엔드 목록으로 설정합니다. 다음 LiteLLM 항목은 OpenAI 호환 제공업체 하나를 추가합니다.
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
왜 중요한가
- 안정성. 한 제공업체가 429나 5xx 오류를 반환하면 라우터가 다른 곳으로 넘길 수 있습니다. 속도 제한을 참고하세요.
- 비용. 단순한 프롬프트를 저렴한 모델로 보내면 비용을 낮출 수 있습니다.
- 통합 하나. 코드는 base URL 하나, 키 형식 하나만 다룹니다.
단점도 분명합니다. 라우터는 네트워크 홉을 하나 더합니다. 호스팅형 라우터는 프롬프트를 보는 당사자가 하나 더 늘어나는 것이므로, 데이터 보관 여부는 라우터와 라우터가 고른 제공업체 양쪽에 달려 있습니다. 또 모델마다 토크나이저, 추론 동작, 지원하는 파라미터가 다르므로 조용한 폴백이 답을 바꿀 수 있습니다.
BroadNet Inference에서는
BroadNet Inference는 라우터가 아닙니다. https://inference.broadnet.ai/v1 주소에서 짧은 모델 목록 하나를 제공하는 단일 제공업체입니다. BroadNet 서비스 약관에 따르면 모델은 BroadNet 소유 또는 임차한 미국 내 하드웨어나 미국 추론 파트너를 통해 실행됩니다. 제공업체 간 자동 라우팅이나 폴백은 없습니다. 모델은 요청마다 직접 고르며, 예를 들면 broadnet/deepseek-v4.1-flash 또는 broadnet/glm-5.3 모델입니다.
API가 OpenAI 호환이므로 라우터 뒤에 백엔드 하나로 둘 수 있습니다. 설정 방법은 LiteLLM 프록시 가이드에 있습니다. 라우터와 정액제 제공업체의 비교는 에이전트용 OpenRouter 대안을 읽어 보세요. BroadNet은 프롬프트나 출력을 보관하지 않습니다. 앞에 호스팅형 라우터를 둔다면 그 라우터의 데이터 보관 정책도 확인하세요.
흔한 실수
- 401이나 403을 다른 제공업체로 재시도하는 것. 이는 키나 정책 오류이므로 먼저 고치세요. 오류와 재시도를 참고하세요.
- 모델 이름을 서로 바꿔 써도 되는 것으로 여기는 것. 폴백 모델은 각각 내 프롬프트로 테스트하세요.