어떤 API든 상태가 나쁜 순간이 있습니다. 폴백이 있으면 한 제공업체의 나쁜 1분이 내 앱의 장애로 번지지 않습니다.
작동 방식
순서가 정해진 모델 목록을 둡니다. 호출이 자체 재시도까지 마친 뒤에도 실패하면, 목록의 다음 모델이 같은 요청을 받습니다.
출처에 나온 두 게이트웨이는 다음과 같습니다.
| 게이트웨이 | 폴백 방식 |
|---|---|
| LiteLLM 프록시 | fallbacks에 모델 그룹을 나열하며, “in-order”(번역: 순서대로) 시도합니다. 별도의 context_window_fallbacks와 content_policy_fallbacks가 해당 오류 유형을 처리합니다. num_retries는 폴백 전에 그룹을 재시도하고, allowed_fails와 cooldown_time은 실패하는 배포를 잠시 제외합니다. |
| OpenRouter | models 배열을 씁니다. “If the first model returns an error, OpenRouter will automatically try the next model in the list.”(번역: 첫 모델이 오류를 반환하면 OpenRouter가 자동으로 목록의 다음 모델을 시도합니다) 컨텍스트 길이, 모더레이션, 속도 제한, 다운타임 등 어떤 오류든 계기가 될 수 있습니다. 마지막 모델도 실패하면 그 오류가 반환됩니다. |
클라이언트 쪽 최소 구현은 다음과 같습니다.
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
왜 중요한가
- 가동 시간. 두 번째 제공업체가 첫 제공업체의 장애와 속도 제한을 메워 줍니다.
- 출력이 달라집니다. 백업 모델은 문체도, 도구 사용 방식도 다르고 비용이 더 들 수도 있습니다. 첫 모델만이 아니라 체인의 모든 모델로 eval을 돌리세요.
- 내 버그에는 폴백하지 마세요. 400이나 422는 요청이 잘못됐다는 뜻이므로 다음 모델에서도 실패합니다. 폴백은 상한을 둔 지수 백오프를 거친 뒤 429, 타임아웃, 5xx에 대해서만 하세요.
BroadNet Inference에서는
BroadNet은 요청을 자동으로 라우팅하지 않으며, 모델 간 폴백도 없습니다. 이 사이트인 BroadRouter는 BroadNet의 정보 사이트이며, 역시 요청을 라우팅하지 않습니다. 폴백은 직접 구현합니다. 위처럼 클라이언트에서 구현하거나(LLM API 페일오버 방법에서 서킷 브레이커와 모델 ID 매핑을 추가합니다), 게이트웨이에서 구현하세요. BroadNet을 제공업체로 추가하는 방법은 LLM 라우터와 LiteLLM 프록시 가이드를 참고하세요. BroadNet의 API 레퍼런스는 5xx는 상한을 둔 지수 백오프로 재시도하고, 429에는 응답 세부 정보와 상한을 둔 백오프를 쓰라고 안내합니다. 상태 코드별 설명은 오류와 재시도 가이드에 있습니다.
흔한 실수
- 401이나 402 오류에 폴백해서 결제나 키 문제를 가리는 것.
- 어떤 모델이 각 응답을 처리했는지 기록하지 않아 품질 변화를 추적하기 어렵게 만드는 것.