모든 네트워크 호출에는 기다림을 멈추는 지점이 필요합니다. LLM 호출에서는 그 지점을 정하기가 어렵습니다. 느린 답변과 끊긴 연결이 한동안은 똑같아 보이기 때문입니다.
작동 방식
HTTP 클라이언트는 대기를 단계별로 나눕니다. 널리 쓰이는 Python HTTP 클라이언트인 HTTPX에는 네 가지가 있습니다.
| 타임아웃 | HTTPX에서의 의미 | 오류 |
|---|---|---|
| 연결(Connect) | 소켓 연결을 맺는 데 걸리는 최대 시간 | ConnectTimeout |
| 읽기(Read) | 들어오는 데이터 청크를 기다리는 최대 시간 | ReadTimeout |
| 쓰기(Write) | 요청 본문의 청크를 보내는 데 기다리는 최대 시간 | WriteTimeout |
| 풀(Pool) | 풀에서 연결을 얻기까지 기다리는 최대 시간 | PoolTimeout |
순수 HTTPX는 기본적으로 네트워크 활동이 5초 동안 없으면 타임아웃됩니다. OpenAI Python SDK는 자체 기본값을 둡니다. “By default requests time out after 10 minutes”(번역: 기본적으로 요청은 10분 후 타임아웃된다)이며, APITimeoutError를 발생시키고 타임아웃된 요청을 두 번 재시도합니다. 연결 오류, 408, 409, 429, 5xx 응답도 기본적으로 재시도합니다.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
서버에도 타임아웃이 있습니다. MDN은 504 Gateway Timeout을 게이트웨이나 프록시가 “did not get a response in time from the upstream server”(번역: 업스트림 서버로부터 제때 응답을 받지 못했다)인 경우로, 408 Request Timeout을 서버가 “to shut down this unused connection”(번역: 사용되지 않는 이 연결을 닫기를) 원하는 경우로 정의합니다.
왜 중요한가
- 추론 모델은 시작이 느립니다. 생각은 첫 번째로 보이는 토큰보다 먼저 일어납니다. 스트리밍하지 않는 호출에 짧은 읽기 타임아웃을 걸면 정상적인 요청이 끊길 수 있습니다.
- 스트림은 멈춤을 감지합니다. 스트리밍에서는 청크가 올 때마다 읽기 타이머가 초기화되므로, 긴 답변이라도 멈춤이 빨리 드러납니다.
- 재시도는 비용을 두 배로 만들 수 있습니다. 타임아웃이 났다고 서버가 멈춘 것은 아닙니다. 아직 실행 중인 요청을 재시도하면 두 번 과금될 수 있습니다. 상한이 있는 지수 백오프를 쓰고, API가 지원한다면 멱등성 키를 쓰세요.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 스트림을 data: [DONE]까지 읽으라고 안내합니다. 그 전에 연결이 끝나면 “treat the response as incomplete, record the X-Request-ID”(번역: 응답을 불완전한 것으로 취급하고 X-Request-ID를 기록할 것)라고 하며, 애플리케이션이 새 요청을 안전하게 보낼 수 있는지 판단하라고 합니다. 500, 502, 503, 504에는 상한이 있는 지수 백오프로 재시도하라고 하며, 429는 속도, 동시 처리, 토큰 속도, 지출 한도 중 하나에 도달했다는 뜻입니다. 지원 요청을 위해 X-Request-ID를 보관하세요. 실제로 작동하는 설정은 오류와 재시도 가이드와 장시간 실행 에이전트 글에 나와 있습니다.
흔한 실수
- 기본값을 그대로 두고, 멈춘 호출 하나가 왜 워커를 10분 동안 붙잡는지 의아해하는 것.
- 상한 없이 재시도해서, 문제가 있던 1분이 요청 폭주로 번지는 것.