---
title: "모델 폴백이란? 백업 LLM으로 페일오버하기 | BroadRouter"
description: "모델 폴백은 첫 모델이 실패하면 요청을 백업 모델이나 제공업체로 보냅니다. LiteLLM, OpenRouter 같은 게이트웨이의 방식과 직접 구현하는 방법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/model-fallback/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/model-fallback/) (2026-11-16 업데이트).

# 모델 폴백(model fallback)

업데이트 2026-11-16

모델 폴백(model fallback)은 실패한 LLM 요청을 순서가 정해진 목록의 다른 모델이나 제공업체로 다시 보내는 안정성 패턴입니다. 오류, 속도 제한, 컨텍스트 길이 오류, 콘텐츠 정책 거부가 계기가 될 수 있으며, 클라이언트나 API 앞단의 게이트웨이에서 실행됩니다.

다른 이름: LLM 폴백, 폴백 모델, 모델 페일오버, 제공업체 폴백, LLM 장애 조치, model fallback, fallback model, model failover, provider fallback

어떤 API든 상태가 나쁜 순간이 있습니다. 폴백이 있으면 한 제공업체의 나쁜 1분이 내 앱의 장애로 번지지 않습니다.

## 작동 방식

순서가 정해진 모델 목록을 둡니다. 호출이 자체 재시도까지 마친 뒤에도 실패하면, 목록의 다음 모델이 같은 요청을 받습니다.

출처에 나온 두 게이트웨이는 다음과 같습니다.

| 게이트웨이 | 폴백 방식 |
| --- | --- |
| LiteLLM 프록시 | `fallbacks`에 모델 그룹을 나열하며, “in-order”(번역: 순서대로) 시도합니다. 별도의 `context_window_fallbacks`와 `content_policy_fallbacks`가 해당 오류 유형을 처리합니다. `num_retries`는 폴백 전에 그룹을 재시도하고, `allowed_fails`와 `cooldown_time`은 실패하는 배포를 잠시 제외합니다. |
| OpenRouter | `models` 배열을 씁니다. “If the first model returns an error, OpenRouter will automatically try the next model in the list.”(번역: 첫 모델이 오류를 반환하면 OpenRouter가 자동으로 목록의 다음 모델을 시도합니다) 컨텍스트 길이, 모더레이션, 속도 제한, 다운타임 등 어떤 오류든 계기가 될 수 있습니다. 마지막 모델도 실패하면 그 오류가 반환됩니다. |

클라이언트 쪽 최소 구현은 다음과 같습니다.

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## 왜 중요한가

-   **가동 시간.** 두 번째 제공업체가 첫 제공업체의 장애와 [속도 제한](https://broadrouter.com/ko/glossary/rate-limit/)을 메워 줍니다.
-   **출력이 달라집니다.** 백업 모델은 문체도, 도구 사용 방식도 다르고 비용이 더 들 수도 있습니다. 첫 모델만이 아니라 체인의 모든 모델로 [eval](https://broadrouter.com/ko/glossary/eval/)을 돌리세요.
-   **내 버그에는 폴백하지 마세요.** 400이나 422는 요청이 잘못됐다는 뜻이므로 다음 모델에서도 실패합니다. 폴백은 상한을 둔 [지수 백오프](https://broadrouter.com/ko/glossary/exponential-backoff/)를 거친 뒤 429, 타임아웃, 5xx에 대해서만 하세요.

## BroadNet Inference에서는

BroadNet은 요청을 자동으로 라우팅하지 않으며, 모델 간 폴백도 없습니다. 이 사이트인 BroadRouter는 BroadNet의 정보 사이트이며, 역시 요청을 라우팅하지 않습니다. 폴백은 직접 구현합니다. 위처럼 클라이언트에서 구현하거나([LLM API 페일오버 방법](https://broadrouter.com/ko/blog/llm-api-failover-fallback/)에서 서킷 브레이커와 모델 ID 매핑을 추가합니다), 게이트웨이에서 구현하세요. BroadNet을 제공업체로 추가하는 방법은 [LLM 라우터](https://broadrouter.com/ko/glossary/llm-router/)와 [LiteLLM 프록시 가이드](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/)를 참고하세요. BroadNet의 [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-model-fallback&utm_content=body)는 5xx는 상한을 둔 지수 백오프로 재시도하고, 429에는 응답 세부 정보와 상한을 둔 백오프를 쓰라고 안내합니다. 상태 코드별 설명은 [오류와 재시도 가이드](https://broadrouter.com/ko/guides/errors-and-retries/)에 있습니다.

## 흔한 실수

-   401이나 402 오류에 폴백해서 결제나 키 문제를 가리는 것.
-   어떤 모델이 각 응답을 처리했는지 기록하지 않아 품질 변화를 추적하기 어렵게 만드는 것.

## 자주 묻는 질문

### 재시도와 폴백 중 무엇을 먼저 해야 하나요?

503 같은 일시적 장애라면 먼저 재시도하세요. LiteLLM도 이렇게 동작합니다. 호출이 num\_retries 횟수만큼 실패한 뒤에야 다른 모델 그룹으로 폴백합니다.

### 폴백 후에는 어떤 모델 요금이 청구되나요?

OpenRouter에서는 실제로 요청을 처리한 모델입니다. OpenRouter는 요청이 "are priced using the model that was ultimately used"(번역: 최종적으로 사용된 모델 기준으로 가격이 매겨진다)고 밝히며, 이는 응답의 model 필드에 표시됩니다.

### BroadNet은 자동으로 라우팅하거나 폴백하나요?

아닙니다. BroadNet은 자동 라우팅을 제공하지 않으며, BroadRouter는 BroadNet의 정보 사이트일 뿐 라우터가 아닙니다. 폴백은 클라이언트에 직접 구현하거나 LiteLLM 같은 게이트웨이를 앞에 두세요.

## 함께 보기

-   [LLM 라우터(LLM router)](https://broadrouter.com/ko/glossary/llm-router/) (용어)
-   [지수 백오프(exponential backoff)](https://broadrouter.com/ko/glossary/exponential-backoff/) (용어)
-   [속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/) (용어)
-   [요청 타임아웃(request timeout)](https://broadrouter.com/ko/glossary/request-timeout/) (용어)
-   [추론 제공업체(Inference provider)](https://broadrouter.com/ko/glossary/inference-provider/) (용어)
-   [LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/) (가이드)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/) (가이드)
-   [LLM API 페일오버: 직접 작성한 코드로 두 번째 제공업체로 전환하기](https://broadrouter.com/ko/blog/llm-api-failover-fallback/) (글)
-   [AI 에이전트에는 OpenRouter와 정액 플랜 중 무엇이 더 저렴할까?](https://broadrouter.com/ko/blog/openrouter-alternative-flat-rate/) (글)
-   [LLM API 제공업체 선택 가이드: 20가지 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/) (글)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-model-fallback&utm_content=page-cta) ·

**출처**

-   [LiteLLM 문서, 프록시 안정성: 재시도와 폴백 (2026-11-15 확인)](https://docs.litellm.ai/docs/proxy/reliability)
-   [OpenRouter 문서, 모델 폴백 (2026-11-15 확인)](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [BroadNet Inference API 레퍼런스, 오류와 재시도 (2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-model-fallback&utm_content=sources)
