BroadRouter
시작하기

지수 백오프(exponential backoff)

업데이트

지수 백오프(exponential backoff)는 클라이언트가 시도에 실패할 때마다 더 오래 기다렸다가 다시 시도하는 재시도 전략으로, 보통 상한까지 지연 시간을 두 배씩 늘립니다. 각 대기 시간에 무작위 지터를 더하면 여러 클라이언트의 재시도가 분산되어 같은 순간에 서버로 몰리지 않습니다.

다른 이름: 지수 백오프, 백오프와 지터, 지수적 백오프, 재시도 백오프, 지터, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

API가 “속도를 줄이라”고 할 때 즉시 재시도하면 상황이 더 나빠집니다. 지수 백오프는 매번 더 오래 기다립니다.

작동 방식

실패하면 기본 지연 시간만큼 기다리고, 실패가 이어질 때마다 그 시간을 두 배로 늘리되 최댓값을 넘기지 않습니다. 기본값 1초, 상한 32초라면 대기 시간은 1, 2, 4, 8, 16, 32, 32초가 됩니다. 정해진 횟수만큼 시도한 뒤에는 멈추고 오류를 드러내세요.

백오프만으로는 충분하지 않습니다. 클라이언트 100개가 같은 순간에 실패하면 재시도도 모두 같은 순간에 합니다. Marc Brooker의 AWS 글은 “Full Jitter”(0과 현재 상한 사이의 무작위 대기), “Equal Jitter”, “Decorrelated Jitter”를 비교합니다. Equal Jitter가 가장 약했고, Full Jitter는 “uses less work, but slightly more time.”(번역: 작업량은 더 적지만 시간은 조금 더 든다) 그의 결론은 지터를 더한 백오프가 “should be considered a standard approach for remote clients.”(번역: 원격 클라이언트의 표준 방식으로 여겨져야 한다)라는 것입니다.

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

왜 중요한가

  • 429도 횟수에 들어갑니다. OpenAI 속도 제한 가이드는 “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.”(번역: 실패한 요청도 분당 한도에 포함되므로, 요청을 계속 다시 보내는 것은 효과가 없다)라고 경고합니다. 속도 제한을 계속 두드리면 계속 막힌 상태로 남습니다.
  • 재시도는 배로 불어납니다. AWS Builders’ Library는 재시도가 “selfish”(번역: 이기적)이라고 지적하며 스택의 한 지점에서만 재시도하라고 권합니다. 모든 계층에서 재시도하면 부하가 몇 배로 불어날 수 있습니다.
  • 부작용. 돈이 청구되는 호출은 멱등성 키가 있을 때만 안전하게 재시도할 수 있습니다.
  • 재시도보다 예방. 진행 중인 요청 수를 동시 처리 한도 아래로 제한해서 애초에 429가 드물게 하세요.

BroadNet Inference에서는

BroadNet의 오류 표는 429에 “response details and bounded backoff”(번역: 응답 세부 정보와 상한이 있는 백오프)로 대응하고, 500, 502, 503, 504는 “with bounded exponential backoff.”(번역: 상한이 있는 지수 백오프로) 재시도하라고 안내합니다. 종량제 키는 분당 요청 30 건, 동시 처리 4 건을 허용합니다. 400, 401, 403, 413, 422는 원인부터 고치세요. 지원 요청을 위해 X-Request-ID 헤더를 보관하세요. 오류와 재시도 가이드는 SDK 재시도 횟수를 설정하고, LLM API 429 처리법에는 제한 장치와 대기열 코드가 있습니다. 속도 제한 계산기로 한도 안에 얼마만큼의 트래픽이 들어가는지 확인할 수 있습니다.

자주 묻는 질문

어떤 오류를 백오프로 재시도해야 하나요?

속도 제한(429), 서버 오류(5xx), 타임아웃, 끊긴 연결입니다. 400, 401, 403, 413, 422는 그대로 재시도하지 마세요. 요청이나 키를 먼저 고치세요.

지터는 왜 더하나요?

지터가 없으면 함께 실패한 클라이언트들이 함께 재시도해서 서버에 다시 과부하를 줍니다. 지터는 대기 시간을 무작위로 만들어 재시도를 분산시킵니다.

OpenAI SDK에는 이미 백오프가 있나요?

네. 공식 OpenAI SDK는 연결 오류, 429, 5xx 응답을 짧은 지수 백오프로 재시도합니다. max_retries는 명시적으로 설정하고(긴 배치 작업이라면 더 높게), 그 위에 자체 제한 장치를 더하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기