---
title: "요청 타임아웃이란? LLM API 호출의 타임아웃 설정 | BroadRouter"
description: "요청 타임아웃은 클라이언트가 LLM API 응답을 포기하기 전까지 기다리는 시간입니다. 연결·읽기 타임아웃, SDK 기본값, 408과 504, 안전한 재시도 방법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/request-timeout/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/request-timeout/) (2026-11-15 업데이트).

# 요청 타임아웃(request timeout)

업데이트 2026-11-15

요청 타임아웃(request timeout)은 HTTP 클라이언트가 요청을 포기하기 전까지 서버를 기다리는 최대 시간입니다. 클라이언트는 보통 연결을 여는 연결 타임아웃과 데이터를 기다리는 읽기 타임아웃으로 나눕니다. 긴 답변은 시간이 걸리므로 LLM 호출에는 넉넉한 읽기 타임아웃이 필요합니다.

다른 이름: 타임아웃, 요청 시간 초과, 읽기 타임아웃, 연결 타임아웃, API 타임아웃 설정, read timeout, connect timeout, client timeout, HTTP timeout

모든 네트워크 호출에는 기다림을 멈추는 지점이 필요합니다. LLM 호출에서는 그 지점을 정하기가 어렵습니다. 느린 답변과 끊긴 연결이 한동안은 똑같아 보이기 때문입니다.

## 작동 방식

HTTP 클라이언트는 대기를 단계별로 나눕니다. 널리 쓰이는 Python HTTP 클라이언트인 HTTPX에는 네 가지가 있습니다.

| 타임아웃 | HTTPX에서의 의미 | 오류 |
| --- | --- | --- |
| 연결(Connect) | 소켓 연결을 맺는 데 걸리는 최대 시간 | `ConnectTimeout` |
| 읽기(Read) | 들어오는 데이터 청크를 기다리는 최대 시간 | `ReadTimeout` |
| 쓰기(Write) | 요청 본문의 청크를 보내는 데 기다리는 최대 시간 | `WriteTimeout` |
| 풀(Pool) | 풀에서 연결을 얻기까지 기다리는 최대 시간 | `PoolTimeout` |

순수 HTTPX는 기본적으로 네트워크 활동이 5초 동안 없으면 타임아웃됩니다. OpenAI Python SDK는 자체 기본값을 둡니다. “By default requests time out after 10 minutes”(번역: 기본적으로 요청은 10분 후 타임아웃된다)이며, `APITimeoutError`를 발생시키고 타임아웃된 요청을 두 번 재시도합니다. 연결 오류, 408, 409, 429, 5xx 응답도 기본적으로 재시도합니다.

```python
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
```

서버에도 타임아웃이 있습니다. MDN은 504 Gateway Timeout을 게이트웨이나 프록시가 “did not get a response in time from the upstream server”(번역: 업스트림 서버로부터 제때 응답을 받지 못했다)인 경우로, 408 Request Timeout을 서버가 “to shut down this unused connection”(번역: 사용되지 않는 이 연결을 닫기를) 원하는 경우로 정의합니다.

## 왜 중요한가

-   **추론 모델은 시작이 느립니다.** 생각은 첫 번째로 보이는 토큰보다 먼저 일어납니다. 스트리밍하지 않는 호출에 짧은 읽기 타임아웃을 걸면 정상적인 요청이 끊길 수 있습니다.
-   **스트림은 멈춤을 감지합니다.** [스트리밍](https://broadrouter.com/ko/glossary/streaming/)에서는 청크가 올 때마다 읽기 타이머가 초기화되므로, 긴 답변이라도 멈춤이 빨리 드러납니다.
-   **재시도는 비용을 두 배로 만들 수 있습니다.** 타임아웃이 났다고 서버가 멈춘 것은 아닙니다. 아직 실행 중인 요청을 재시도하면 두 번 과금될 수 있습니다. 상한이 있는 [지수 백오프](https://broadrouter.com/ko/glossary/exponential-backoff/)를 쓰고, API가 지원한다면 [멱등성 키](https://broadrouter.com/ko/glossary/idempotency-key/)를 쓰세요.

## BroadNet Inference에서는

BroadNet의 [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-request-timeout&utm_content=body)는 스트림을 `data: [DONE]`까지 읽으라고 안내합니다. 그 전에 연결이 끝나면 “treat the response as incomplete, record the X-Request-ID”(번역: 응답을 불완전한 것으로 취급하고 X-Request-ID를 기록할 것)라고 하며, 애플리케이션이 새 요청을 안전하게 보낼 수 있는지 판단하라고 합니다. 500, 502, 503, 504에는 상한이 있는 지수 백오프로 재시도하라고 하며, 429는 속도, 동시 처리, 토큰 속도, 지출 한도 중 하나에 도달했다는 뜻입니다. 지원 요청을 위해 X-Request-ID를 보관하세요. 실제로 작동하는 설정은 [오류와 재시도 가이드](https://broadrouter.com/ko/guides/errors-and-retries/)와 [장시간 실행 에이전트 글](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/)에 나와 있습니다.

## 흔한 실수

-   기본값을 그대로 두고, 멈춘 호출 하나가 왜 워커를 10분 동안 붙잡는지 의아해하는 것.
-   상한 없이 재시도해서, 문제가 있던 1분이 요청 폭주로 번지는 것.

## 자주 묻는 질문

### OpenAI Python SDK의 기본 타임아웃은 얼마인가요?

README에는 "By default requests time out after 10 minutes"(번역: 기본적으로 요청은 10분 후 타임아웃된다)라고 나와 있으며, 타임아웃된 요청은 기본적으로 짧은 지수 백오프로 두 번 재시도됩니다.

### 모든 LLM 호출에 같은 타임아웃을 써도 되나요?

아니요. 짧은 분류 호출과 긴 추론 답변에는 서로 다른 한도가 필요합니다. 스트리밍에서는 긴 전체 한도 하나보다 청크 사이 간격에 거는 읽기 타임아웃이 멈춤을 더 잘 잡아냅니다.

### BroadNet 스트림이 일찍 끊기면 어떻게 해야 하나요?

BroadNet은 data: \[DONE\] 전에 끝난 스트림을 불완전한 것으로 취급하고, X-Request-ID를 기록한 뒤, 애플리케이션이 새 요청을 안전하게 보낼 수 있는지 판단하라고 안내합니다.

## 함께 보기

-   [지수 백오프(exponential backoff)](https://broadrouter.com/ko/glossary/exponential-backoff/) (용어)
-   [스트리밍(streaming)](https://broadrouter.com/ko/glossary/streaming/) (용어)
-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [멱등성 키(idempotency key)](https://broadrouter.com/ko/glossary/idempotency-key/) (용어)
-   [속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/) (용어)
-   [모델 폴백(model fallback)](https://broadrouter.com/ko/glossary/model-fallback/) (용어)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/) (가이드)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [장시간 실행 에이전트: 버티는 타임아웃, 재시도, 체크포인트](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/) (글)
-   [LLM API 429 오류 처리 방법: 백오프, 지터, 동시 처리 제한](https://broadrouter.com/ko/blog/handle-llm-api-429-rate-limits/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-request-timeout&utm_content=page-cta) ·

**출처**

-   [OpenAI Python SDK README, 타임아웃과 재시도(2026-11-15 확인)](https://github.com/openai/openai-python)
-   [HTTPX 문서, 타임아웃(2026-11-15 확인)](https://www.python-httpx.org/advanced/timeouts/)
-   [MDN, 504 Gateway Timeout(2026-11-15 확인)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/504)
-   [MDN, 408 Request Timeout(2026-11-15 확인)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/408)
-   [BroadNet Inference API 레퍼런스, 스트리밍과 오류(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-request-timeout&utm_content=sources)
