BroadRouter
시작하기

모델 폴백(model fallback)

업데이트

모델 폴백(model fallback)은 실패한 LLM 요청을 순서가 정해진 목록의 다른 모델이나 제공업체로 다시 보내는 안정성 패턴입니다. 오류, 속도 제한, 컨텍스트 길이 오류, 콘텐츠 정책 거부가 계기가 될 수 있으며, 클라이언트나 API 앞단의 게이트웨이에서 실행됩니다.

다른 이름: LLM 폴백, 폴백 모델, 모델 페일오버, 제공업체 폴백, LLM 장애 조치, model fallback, fallback model, model failover, provider fallback

어떤 API든 상태가 나쁜 순간이 있습니다. 폴백이 있으면 한 제공업체의 나쁜 1분이 내 앱의 장애로 번지지 않습니다.

작동 방식

순서가 정해진 모델 목록을 둡니다. 호출이 자체 재시도까지 마친 뒤에도 실패하면, 목록의 다음 모델이 같은 요청을 받습니다.

출처에 나온 두 게이트웨이는 다음과 같습니다.

게이트웨이 폴백 방식
LiteLLM 프록시 fallbacks에 모델 그룹을 나열하며, “in-order”(번역: 순서대로) 시도합니다. 별도의 context_window_fallbacks와 content_policy_fallbacks가 해당 오류 유형을 처리합니다. num_retries는 폴백 전에 그룹을 재시도하고, allowed_fails와 cooldown_time은 실패하는 배포를 잠시 제외합니다.
OpenRouter models 배열을 씁니다. “If the first model returns an error, OpenRouter will automatically try the next model in the list.”(번역: 첫 모델이 오류를 반환하면 OpenRouter가 자동으로 목록의 다음 모델을 시도합니다) 컨텍스트 길이, 모더레이션, 속도 제한, 다운타임 등 어떤 오류든 계기가 될 수 있습니다. 마지막 모델도 실패하면 그 오류가 반환됩니다.

클라이언트 쪽 최소 구현은 다음과 같습니다.

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

왜 중요한가

  • 가동 시간. 두 번째 제공업체가 첫 제공업체의 장애와 속도 제한을 메워 줍니다.
  • 출력이 달라집니다. 백업 모델은 문체도, 도구 사용 방식도 다르고 비용이 더 들 수도 있습니다. 첫 모델만이 아니라 체인의 모든 모델로 eval을 돌리세요.
  • 내 버그에는 폴백하지 마세요. 400이나 422는 요청이 잘못됐다는 뜻이므로 다음 모델에서도 실패합니다. 폴백은 상한을 둔 지수 백오프를 거친 뒤 429, 타임아웃, 5xx에 대해서만 하세요.

BroadNet Inference에서는

BroadNet은 요청을 자동으로 라우팅하지 않으며, 모델 간 폴백도 없습니다. 이 사이트인 BroadRouter는 BroadNet의 정보 사이트이며, 역시 요청을 라우팅하지 않습니다. 폴백은 직접 구현합니다. 위처럼 클라이언트에서 구현하거나(LLM API 페일오버 방법에서 서킷 브레이커와 모델 ID 매핑을 추가합니다), 게이트웨이에서 구현하세요. BroadNet을 제공업체로 추가하는 방법은 LLM 라우터와 LiteLLM 프록시 가이드를 참고하세요. BroadNet의 API 레퍼런스는 5xx는 상한을 둔 지수 백오프로 재시도하고, 429에는 응답 세부 정보와 상한을 둔 백오프를 쓰라고 안내합니다. 상태 코드별 설명은 오류와 재시도 가이드에 있습니다.

흔한 실수

  • 401이나 402 오류에 폴백해서 결제나 키 문제를 가리는 것.
  • 어떤 모델이 각 응답을 처리했는지 기록하지 않아 품질 변화를 추적하기 어렵게 만드는 것.

자주 묻는 질문

재시도와 폴백 중 무엇을 먼저 해야 하나요?

503 같은 일시적 장애라면 먼저 재시도하세요. LiteLLM도 이렇게 동작합니다. 호출이 num_retries 횟수만큼 실패한 뒤에야 다른 모델 그룹으로 폴백합니다.

폴백 후에는 어떤 모델 요금이 청구되나요?

OpenRouter에서는 실제로 요청을 처리한 모델입니다. OpenRouter는 요청이 "are priced using the model that was ultimately used"(번역: 최종적으로 사용된 모델 기준으로 가격이 매겨진다)고 밝히며, 이는 응답의 model 필드에 표시됩니다.

BroadNet은 자동으로 라우팅하거나 폴백하나요?

아닙니다. BroadNet은 자동 라우팅을 제공하지 않으며, BroadRouter는 BroadNet의 정보 사이트일 뿐 라우터가 아닙니다. 폴백은 클라이언트에 직접 구현하거나 LiteLLM 같은 게이트웨이를 앞에 두세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기