---
title: "Apakah itu tamat masa permintaan? Timeout panggilan API LLM"
description: "Tamat masa permintaan ialah tempoh klien menunggu API LLM sebelum mengalah. Connect dan read timeout, lalai SDK, 408 dan 504, serta cara cuba semula yang selamat."
url: https://broadrouter.com/ms/glossary/request-timeout/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/request-timeout/) (dikemas kini 2026-11-15).

# Tamat masa permintaan (request timeout)

Dikemas kini 2026-11-15

Tamat masa permintaan (request timeout) ialah tempoh paling lama klien HTTP menunggu pelayan sebelum meninggalkan permintaan. Klien biasanya membahagikannya kepada connect timeout untuk membuka sambungan dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar kerana jawapan panjang mengambil masa.

Juga dikenali sebagai: tamat masa, timeout API LLM, read timeout, connect timeout, client timeout, HTTP timeout, request timeout

Setiap panggilan rangkaian memerlukan titik di mana anda berhenti menunggu. Bagi panggilan LLM, titik itu sukar dipilih, kerana jawapan yang lambat dan sambungan yang mati kelihatan sama untuk seketika.

## Cara ia berfungsi

Klien HTTP membahagikan penantian kepada beberapa fasa. HTTPX, klien HTTP Python yang biasa digunakan, ada empat:

| Timeout | Maksud dalam HTTPX | Ralat |
| --- | --- | --- |
| Connect | Masa paling lama untuk mewujudkan sambungan soket | `ConnectTimeout` |
| Read | Penantian paling lama untuk satu cebisan data masuk | `ReadTimeout` |
| Write | Penantian paling lama untuk menghantar satu cebisan badan permintaan | `WriteTimeout` |
| Pool | Penantian paling lama untuk mendapatkan sambungan daripada kumpulan | `PoolTimeout` |

HTTPX biasa tamat masa selepas lima saat tanpa aktiviti rangkaian secara lalai. OpenAI Python SDK menetapkan lalainya sendiri: “By default requests time out after 10 minutes” (Terjemahan BroadRouter: “secara lalai permintaan tamat masa selepas 10 minit”), menimbulkan `APITimeoutError`, dan mencuba semula permintaan yang tamat masa dua kali. Ia juga mencuba semula ralat sambungan serta respons 408, 409, 429 dan 5xx secara lalai.

```python
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
```

Pelayan juga ada tamat masa. MDN mentakrifkan 504 Gateway Timeout sebagai get laluan atau proksi yang “did not get a response in time from the upstream server” (Terjemahan BroadRouter: “tidak menerima respons tepat pada masanya daripada pelayan huluan”), dan 408 Request Timeout sebagai pelayan yang mahu “to shut down this unused connection” (Terjemahan BroadRouter: “menutup sambungan yang tidak digunakan ini”).

## Mengapa ia penting

-   **Model penaakulan lambat bermula.** Pemikiran berlaku sebelum token pertama yang kelihatan. Read timeout yang pendek pada panggilan tanpa strim boleh memotong permintaan yang sihat.
-   **Strim mengesan sangkutan.** Dengan [penstriman](https://broadrouter.com/ms/glossary/streaming/), setiap cebisan menetapkan semula pemasa bacaan, jadi sangkutan cepat dikesan walaupun pada jawapan panjang.
-   **Cuba semula boleh menggandakan kos.** Tamat masa tidak bermaksud pelayan sudah berhenti. Mencuba semula permintaan yang masih berjalan mungkin dibilkan dua kali. Gunakan [backoff eksponen](https://broadrouter.com/ms/glossary/exponential-backoff/) dengan had, dan [kunci idempotensi](https://broadrouter.com/ms/glossary/idempotency-key/) jika API menyokongnya.

## Di BroadNet Inference

[Rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-request-timeout&utm_content=body) BroadNet menyatakan untuk membaca strim sehingga `data: [DONE]`. Jika sambungan tamat sebelum itu, “treat the response as incomplete, record the X-Request-ID” (Terjemahan BroadRouter: “anggap respons tidak lengkap, rekodkan X-Request-ID”), dan tentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat. Untuk 500, 502, 503 dan 504, ia menyarankan cuba semula dengan backoff eksponen yang terhad; 429 bermaksud had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai. Simpan X-Request-ID untuk sokongan. [Panduan ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) dan [artikel ejen yang berjalan lama](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) menunjukkan tetapan yang berfungsi.

## Kesilapan biasa

-   Membiarkan nilai lalai dan tertanya-tanya mengapa panggilan yang tergantung menyekat pekerja selama sepuluh minit.
-   Mencuba semula tanpa had, sehingga satu minit yang buruk menjadi banjir permintaan.

## Soalan lazim

### Berapakah tamat masa lalai dalam OpenAI Python SDK?

README-nya menyatakan "By default requests time out after 10 minutes" (secara lalai permintaan tamat masa selepas 10 minit), dan permintaan yang tamat masa dicuba semula dua kali secara lalai dengan backoff eksponen yang singkat.

### Patutkah saya menggunakan satu tamat masa untuk setiap panggilan LLM?

Tidak. Panggilan pengelasan yang ringkas dan jawapan penaakulan yang panjang memerlukan had berbeza. Dengan penstriman, read timeout pada jarak antara cebisan lebih baik mengesan strim yang tersangkut berbanding satu had keseluruhan yang panjang.

### Apakah yang patut saya lakukan apabila strim BroadNet berhenti awal?

BroadNet menyatakan strim yang tamat sebelum data: \[DONE\] perlu dianggap tidak lengkap, X-Request-ID perlu direkodkan, dan anda perlu menentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat.

## Lihat juga

-   [Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/) (istilah)
-   [Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [Kunci idempotensi (idempotency key)](https://broadrouter.com/ms/glossary/idempotency-key/) (istilah)
-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Fallback model (model sandaran)](https://broadrouter.com/ms/glossary/model-fallback/) (istilah)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) (artikel)
-   [Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-request-timeout&utm_content=page-cta) ·

**Sumber**

-   [README OpenAI Python SDK, timeouts dan retries (disemak 2026-11-15)](https://github.com/openai/openai-python)
-   [Dokumentasi HTTPX, timeouts (disemak 2026-11-15)](https://www.python-httpx.org/advanced/timeouts/)
-   [MDN, 504 Gateway Timeout (disemak 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/504)
-   [MDN, 408 Request Timeout (disemak 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/408)
-   [Rujukan API BroadNet Inference, penstriman dan ralat (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-request-timeout&utm_content=sources)
