BroadRouter
시작하기

요청 타임아웃(request timeout)

업데이트

요청 타임아웃(request timeout)은 HTTP 클라이언트가 요청을 포기하기 전까지 서버를 기다리는 최대 시간입니다. 클라이언트는 보통 연결을 여는 연결 타임아웃과 데이터를 기다리는 읽기 타임아웃으로 나눕니다. 긴 답변은 시간이 걸리므로 LLM 호출에는 넉넉한 읽기 타임아웃이 필요합니다.

다른 이름: 타임아웃, 요청 시간 초과, 읽기 타임아웃, 연결 타임아웃, API 타임아웃 설정, read timeout, connect timeout, client timeout, HTTP timeout

모든 네트워크 호출에는 기다림을 멈추는 지점이 필요합니다. LLM 호출에서는 그 지점을 정하기가 어렵습니다. 느린 답변과 끊긴 연결이 한동안은 똑같아 보이기 때문입니다.

작동 방식

HTTP 클라이언트는 대기를 단계별로 나눕니다. 널리 쓰이는 Python HTTP 클라이언트인 HTTPX에는 네 가지가 있습니다.

타임아웃 HTTPX에서의 의미 오류
연결(Connect) 소켓 연결을 맺는 데 걸리는 최대 시간 ConnectTimeout
읽기(Read) 들어오는 데이터 청크를 기다리는 최대 시간 ReadTimeout
쓰기(Write) 요청 본문의 청크를 보내는 데 기다리는 최대 시간 WriteTimeout
풀(Pool) 풀에서 연결을 얻기까지 기다리는 최대 시간 PoolTimeout

순수 HTTPX는 기본적으로 네트워크 활동이 5초 동안 없으면 타임아웃됩니다. OpenAI Python SDK는 자체 기본값을 둡니다. “By default requests time out after 10 minutes”(번역: 기본적으로 요청은 10분 후 타임아웃된다)이며, APITimeoutError를 발생시키고 타임아웃된 요청을 두 번 재시도합니다. 연결 오류, 408, 409, 429, 5xx 응답도 기본적으로 재시도합니다.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

서버에도 타임아웃이 있습니다. MDN은 504 Gateway Timeout을 게이트웨이나 프록시가 “did not get a response in time from the upstream server”(번역: 업스트림 서버로부터 제때 응답을 받지 못했다)인 경우로, 408 Request Timeout을 서버가 “to shut down this unused connection”(번역: 사용되지 않는 이 연결을 닫기를) 원하는 경우로 정의합니다.

왜 중요한가

  • 추론 모델은 시작이 느립니다. 생각은 첫 번째로 보이는 토큰보다 먼저 일어납니다. 스트리밍하지 않는 호출에 짧은 읽기 타임아웃을 걸면 정상적인 요청이 끊길 수 있습니다.
  • 스트림은 멈춤을 감지합니다. 스트리밍에서는 청크가 올 때마다 읽기 타이머가 초기화되므로, 긴 답변이라도 멈춤이 빨리 드러납니다.
  • 재시도는 비용을 두 배로 만들 수 있습니다. 타임아웃이 났다고 서버가 멈춘 것은 아닙니다. 아직 실행 중인 요청을 재시도하면 두 번 과금될 수 있습니다. 상한이 있는 지수 백오프를 쓰고, API가 지원한다면 멱등성 키를 쓰세요.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 스트림을 data: [DONE]까지 읽으라고 안내합니다. 그 전에 연결이 끝나면 “treat the response as incomplete, record the X-Request-ID”(번역: 응답을 불완전한 것으로 취급하고 X-Request-ID를 기록할 것)라고 하며, 애플리케이션이 새 요청을 안전하게 보낼 수 있는지 판단하라고 합니다. 500, 502, 503, 504에는 상한이 있는 지수 백오프로 재시도하라고 하며, 429는 속도, 동시 처리, 토큰 속도, 지출 한도 중 하나에 도달했다는 뜻입니다. 지원 요청을 위해 X-Request-ID를 보관하세요. 실제로 작동하는 설정은 오류와 재시도 가이드와 장시간 실행 에이전트 글에 나와 있습니다.

흔한 실수

  • 기본값을 그대로 두고, 멈춘 호출 하나가 왜 워커를 10분 동안 붙잡는지 의아해하는 것.
  • 상한 없이 재시도해서, 문제가 있던 1분이 요청 폭주로 번지는 것.

자주 묻는 질문

OpenAI Python SDK의 기본 타임아웃은 얼마인가요?

README에는 "By default requests time out after 10 minutes"(번역: 기본적으로 요청은 10분 후 타임아웃된다)라고 나와 있으며, 타임아웃된 요청은 기본적으로 짧은 지수 백오프로 두 번 재시도됩니다.

모든 LLM 호출에 같은 타임아웃을 써도 되나요?

아니요. 짧은 분류 호출과 긴 추론 답변에는 서로 다른 한도가 필요합니다. 스트리밍에서는 긴 전체 한도 하나보다 청크 사이 간격에 거는 읽기 타임아웃이 멈춤을 더 잘 잡아냅니다.

BroadNet 스트림이 일찍 끊기면 어떻게 해야 하나요?

BroadNet은 data: [DONE] 전에 끝난 스트림을 불완전한 것으로 취급하고, X-Request-ID를 기록한 뒤, 애플리케이션이 새 요청을 안전하게 보낼 수 있는지 판단하라고 안내합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기