---
title: "Apa itu request timeout? Timeout untuk panggilan API LLM"
description: "Request timeout adalah lama client menunggu API LLM sebelum menyerah. Connect dan read timeout, default SDK, 408 dan 504, serta cara mencoba ulang dengan aman."
url: https://broadrouter.com/id/glossary/request-timeout/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/request-timeout/) (diperbarui 2026-11-15).

# Request timeout (batas waktu permintaan)

Diperbarui 2026-11-15

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

Disebut juga: timeout, batas waktu permintaan, read timeout, connect timeout, client timeout, HTTP timeout, request timeout

Setiap panggilan jaringan butuh titik di mana Anda berhenti menunggu. Untuk panggilan LLM titik itu sulit ditentukan, karena jawaban yang lambat dan koneksi yang mati terlihat sama untuk sementara waktu.

## Cara kerjanya

Client HTTP membagi waktu tunggu menjadi beberapa fase. HTTPX, client HTTP Python yang umum, punya empat:

| Timeout | Arti di HTTPX | Error |
| --- | --- | --- |
| Connect | Waktu terlama untuk membuat koneksi socket | `ConnectTimeout` |
| Read | Waktu tunggu terlama untuk satu potongan data masuk | `ReadTimeout` |
| Write | Waktu tunggu terlama untuk mengirim satu potongan body permintaan | `WriteTimeout` |
| Pool | Waktu tunggu terlama untuk mendapat koneksi dari pool | `PoolTimeout` |

HTTPX biasa akan timeout setelah lima detik tanpa aktivitas jaringan secara default. OpenAI Python SDK menetapkan default-nya sendiri: “By default requests time out after 10 minutes” (terjemahan: secara default permintaan timeout setelah 10 menit), memunculkan `APITimeoutError`, dan mencoba ulang permintaan yang timeout dua kali. SDK ini juga mencoba ulang error koneksi, respons 408, 409, 429, dan 5xx secara default.

```python
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
```

Server juga punya timeout. MDN mendefinisikan 504 Gateway Timeout sebagai gateway atau proxy yang “did not get a response in time from the upstream server” (terjemahan: tidak mendapat respons tepat waktu dari server upstream), dan 408 Request Timeout sebagai server yang ingin “to shut down this unused connection” (terjemahan: menutup koneksi yang tidak terpakai ini).

## Kenapa ini penting

-   **Model penalaran lambat memulai.** Proses berpikir terjadi sebelum token pertama yang terlihat. Read timeout yang pendek pada panggilan tanpa streaming bisa memotong permintaan yang sebenarnya sehat.
-   **Stream mendeteksi macet.** Dengan [streaming](https://broadrouter.com/id/glossary/streaming/), setiap chunk me-reset timer baca, jadi macet cepat terdeteksi bahkan pada jawaban panjang.
-   **Percobaan ulang bisa menggandakan biaya.** Timeout tidak berarti server berhenti. Mencoba ulang permintaan yang masih berjalan bisa ditagih dua kali. Gunakan [exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) dengan batas, dan [idempotency key](https://broadrouter.com/id/glossary/idempotency-key/) jika API mendukungnya.

## Di BroadNet Inference

[Referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-request-timeout&utm_content=body) BroadNet meminta Anda membaca stream sampai `data: [DONE]`. Jika koneksi berakhir sebelum itu, “treat the response as incomplete, record the X-Request-ID” (terjemahan: anggap respons tidak lengkap, catat X-Request-ID), lalu putuskan apakah aplikasi Anda aman mengirim permintaan baru. Untuk 500, 502, 503, dan 504, referensinya meminta percobaan ulang dengan exponential backoff yang dibatasi; 429 berarti batas laju, konkurensi, laju token, atau batas pengeluaran telah tercapai. Simpan X-Request-ID untuk dukungan. [Panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/) dan [artikel agen yang berjalan lama](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/) menunjukkan pengaturan yang berfungsi.

## Kesalahan umum

-   Membiarkan default lalu heran kenapa panggilan yang menggantung memblokir worker selama sepuluh menit.
-   Mencoba ulang tanpa batas, sehingga satu menit yang buruk berubah menjadi banjir permintaan.

## Pertanyaan umum

### Berapa timeout default di OpenAI Python SDK?

README-nya menyebutkan "By default requests time out after 10 minutes" (terjemahan: secara default permintaan timeout setelah 10 menit), dan permintaan yang timeout dicoba ulang dua kali secara default dengan exponential backoff singkat.

### Apakah saya harus memakai satu timeout untuk semua panggilan LLM?

Tidak. Panggilan klasifikasi singkat dan jawaban penalaran panjang butuh batas yang berbeda. Dengan streaming, read timeout pada jeda antar chunk lebih baik menangkap macet daripada satu batas total yang panjang.

### Apa yang harus saya lakukan saat stream BroadNet berhenti lebih awal?

BroadNet meminta Anda menganggap stream yang berakhir sebelum data: \[DONE\] sebagai tidak lengkap, mencatat X-Request-ID, dan memutuskan apakah aplikasi Anda aman mengirim permintaan baru.

## Lihat juga

-   [Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) (istilah)
-   [Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/) (istilah)
-   [Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/) (istilah)
-   [Model fallback](https://broadrouter.com/id/glossary/model-fallback/) (istilah)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/) (artikel)
-   [Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-request-timeout&utm_content=page-cta) ·

**Sumber**

-   [README OpenAI Python SDK, timeout dan percobaan ulang (diperiksa 2026-11-15)](https://github.com/openai/openai-python)
-   [Dokumentasi HTTPX, timeout (diperiksa 2026-11-15)](https://www.python-httpx.org/advanced/timeouts/)
-   [MDN, 504 Gateway Timeout (diperiksa 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/504)
-   [MDN, 408 Request Timeout (diperiksa 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/408)
-   [Referensi API BroadNet Inference, streaming dan error (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-request-timeout&utm_content=sources)
