BroadRouter

LLM 라우터(LLM router)

업데이트

LLM 라우터(LLM router)는 애플리케이션과 하나 이상의 언어 모델 API 사이에 위치해, 요청마다 어떤 모델이나 제공업체가 처리할지 정하는 소프트웨어나 서비스입니다. 판단 기준으로는 비용, 지연 시간, 가용성, 작업 유형 같은 규칙을 씁니다.

다른 이름: AI 게이트웨이, LLM 게이트웨이, 모델 라우터, LLM 라우팅, 모델 라우팅, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

모델 하나와만 통신하는 애플리케이션에는 라우터가 필요 없습니다. 라우터는 팀이 여러 모델이나 제공업체를 쓰면서 그중 무엇을 쓸지 한곳에서 고르고 싶을 때 등장합니다.

작동 방식

애플리케이션은 OpenAI 형식의 요청을 라우터에 보냅니다. 라우터는 규칙을 적용해 요청을 백엔드로 전달하고, 같은 형식으로 답을 돌려줍니다. 흔한 유형은 세 가지입니다.

  • 호스팅형 애그리게이터. 예를 들어 OpenRouter는 https://openrouter.ai/api/v1에서 “hundreds of AI models through a single API endpoint”(번역: 단일 API 엔드포인트로 수백 개의 AI 모델)를 자동 폴백과 함께 제공합니다. 사용자는 키 하나와 청구서 하나만 갖고, 제공업체 계정은 애그리게이터가 보유합니다.
  • 셀프 호스팅 게이트웨이. LiteLLM Router는 내 인프라에서 실행됩니다. 여러 배포에 트래픽을 분산하고(기본은 단순 셔플, 또는 지연 시간·사용량·비용 기반), 속도 제한 오류를 지수 백오프로 재시도하며, 429나 높은 실패율이 나온 배포는 쿨다운에 넣습니다.
  • 모델 선택 라우터. RouteLLM 같은 연구는 분류기를 학습시켜 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 품질을 잃지 않고 비용을 줄입니다.

셀프 호스팅 게이트웨이는 백엔드 목록으로 설정합니다. 다음 LiteLLM 항목은 OpenAI 호환 제공업체 하나를 추가합니다.

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

왜 중요한가

  • 안정성. 한 제공업체가 429나 5xx 오류를 반환하면 라우터가 다른 곳으로 넘길 수 있습니다. 속도 제한을 참고하세요.
  • 비용. 단순한 프롬프트를 저렴한 모델로 보내면 비용을 낮출 수 있습니다.
  • 통합 하나. 코드는 base URL 하나, 키 형식 하나만 다룹니다.

단점도 분명합니다. 라우터는 네트워크 홉을 하나 더합니다. 호스팅형 라우터는 프롬프트를 보는 당사자가 하나 더 늘어나는 것이므로, 데이터 보관 여부는 라우터와 라우터가 고른 제공업체 양쪽에 달려 있습니다. 또 모델마다 토크나이저, 추론 동작, 지원하는 파라미터가 다르므로 조용한 폴백이 답을 바꿀 수 있습니다.

BroadNet Inference에서는

BroadNet Inference는 라우터가 아닙니다. https://inference.broadnet.ai/v1 주소에서 짧은 모델 목록 하나를 제공하는 단일 제공업체입니다. BroadNet 서비스 약관에 따르면 모델은 BroadNet 소유 또는 임차한 미국 내 하드웨어나 미국 추론 파트너를 통해 실행됩니다. 제공업체 간 자동 라우팅이나 폴백은 없습니다. 모델은 요청마다 직접 고르며, 예를 들면 broadnet/deepseek-v4.1-flash 또는 broadnet/glm-5.3 모델입니다.

API가 OpenAI 호환이므로 라우터 뒤에 백엔드 하나로 둘 수 있습니다. 설정 방법은 LiteLLM 프록시 가이드에 있습니다. 라우터와 정액제 제공업체의 비교는 에이전트용 OpenRouter 대안을 읽어 보세요. BroadNet은 프롬프트나 출력을 보관하지 않습니다. 앞에 호스팅형 라우터를 둔다면 그 라우터의 데이터 보관 정책도 확인하세요.

흔한 실수

  • 401이나 403을 다른 제공업체로 재시도하는 것. 이는 키나 정책 오류이므로 먼저 고치세요. 오류와 재시도를 참고하세요.
  • 모델 이름을 서로 바꿔 써도 되는 것으로 여기는 것. 폴백 모델은 각각 내 프롬프트로 테스트하세요.

자주 묻는 질문

LLM 라우터는 로드 밸런서와 같은 건가요?

로드 밸런서는 라우터의 한 부분입니다. 라우터는 작업에 따라 다른 모델을 고르고, 오류가 나면 다른 제공업체로 폴백하고, API 형식을 서로 변환할 수도 있습니다. 단순한 로드 밸런서는 동일한 서버들에 트래픽을 나눌 뿐입니다.

라우터를 쓰면 지연 시간이 늘어나나요?

보통 조금 늘어납니다. 요청이 네트워크 홉을 하나 더 거치고, 라우터가 요청을 검사할 수도 있기 때문입니다. 폴백은 실패한 시도가 먼저 실행된 뒤 재시도하므로 더 늘어날 수 있습니다. 라우터가 있을 때와 없을 때의 첫 토큰까지의 시간을 측정하세요.

BroadNet Inference는 LLM 라우터인가요?

아닙니다. 이 사이트 이름과 달리 BroadNet Inference는 단일 제공업체입니다. BroadNet 서비스 약관에 따르면 모델은 BroadNet 소유 또는 임차한 미국 내 하드웨어나 미국 추론 파트너를 통해 실행됩니다. 모델은 요청마다 직접 고릅니다. 라우터 뒤에 제공업체 중 하나로 둘 수는 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기