---
title: "Ejen AI berjalan lama: tamat masa, cubaan semula | BroadRouter"
description: "Pastikan ejen LLM berjalan berjam-jam: tamat masa setiap panggilan, penstriman untuk kesan terhenti, cubaan semula selamat, alat idempoten dan checkpoint."
url: https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (dikemas kini 2026-11-16).

# Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Anggap setiap panggilan model boleh dibuang dan keadaan ejen tahan lama. Tetapkan tamat masa setiap panggilan, gunakan penstriman untuk mengesan terhenti, cuba semula 429, 5xx dan strim terputus dengan backoff terhad, dan beri setiap alat yang ada kesan sampingan kunci idempotensi. Simpan senarai mesej selepas setiap langkah supaya ranap disambung semula dari checkpoint terakhir, bukan dari awal.

## Perkara utama

-   OpenAI Python SDK tamat masa selepas 10 minit dan mencuba semula dua kali secara lalai. Tetapkan kedua-duanya secara eksplisit untuk ejen.
-   Strim yang berakhir sebelum data \[DONE\] ialah jawapan yang tidak lengkap. Mencubanya semula ialah inferens baharu, dibilkan sekali lagi pada bayar ikut guna.
-   Panggilan model selamat dicuba semula. Kesan sampingan alat tidak, melainkan ia membawa kunci idempotensi.
-   Buat checkpoint selepas setiap langkah yang selesai: senarai mesej, nombor langkah dan ID kesan sampingan yang sudah selesai.
-   Pada sesi pelan, cubaan semula tidak berkos tambahan tetapi menduduki satu-satunya slot permintaan semasa ia berjalan.

**Dalam halaman ini**

1.  Apakah yang rosak apabila ejen berjalan berjam-jam?
2.  1\. Berapa lama panggilan patut dibenarkan mengambil masa?
3.  2\. Mengapakah perlu penstriman dalam ejen berjalan lama?
4.  3\. Apakah yang patut anda cuba semula?
5.  4\. Bagaimanakah anda menjadikan panggilan alat idempoten?
6.  5\. Bagaimanakah anda membuat checkpoint ejen?
7.  Senarai semak sebelum larian semalaman
8.  Di manakah BroadNet Inference sesuai

Ejen yang berjalan lima minit boleh mengabaikan kegagalan. Ejen yang berjalan lima jam akan berdepan tamat masa, 429, strim terputus dan mungkin mula semula. Kebanyakan panduan tentang ejen berjalan lama menjual enjin aliran kerja. Anda mungkin tidak memerlukannya. Catatan ini membincangkan lima tabiat yang memastikan gelung ejen biasa terus hidup berjam-jam, dengan kod untuk OpenAI Python SDK.

## Apakah yang rosak apabila ejen berjalan berjam-jam?

| Kegagalan | Rupanya | Tabiat yang mengendalikannya |
| --- | --- | --- |
| Panggilan tergantung atau perlahan | Tiada jawapan selama beberapa minit | Tamat masa setiap panggilan, penstriman |
| Had kadar atau beban lampau | 429, 5xx | Cubaan semula terhad dengan backoff |
| Strim terputus | Sambungan berakhir sebelum `[DONE]` | Anggap tidak lengkap, cuba semula panggilan |
| Kesan sampingan berganda | Alat berjalan dua kali selepas cubaan semula | Kunci idempotensi |
| Proses ranap atau deploy | Ejen bermula semula pada langkah 1 | Checkpoint setiap langkah |

## 1\. Berapa lama panggilan patut dibenarkan mengambil masa?

README OpenAI Python SDK menyatakan permintaan tamat masa selepas 10 minit secara lalai dan ralat tertentu dicuba semula dua kali. Untuk ejen, tetapkan kedua-duanya sendiri, supaya tingkah laku tidak berubah tanpa anda sedari:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Pilih tamat masa berdasarkan data. Log tempoh setiap panggilan selama sehari; tetapkan tamat masa jauh di atas panggilan berjaya yang paling perlahan. Prompt besar mengambil masa lebih lama untuk bermula, dan [model penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/) berfikir sebelum menulis. Pada kira-kira 100 token sesaat, 8,000 token output sahaja mengambil masa lebih seminit. Tambah bajet masa jam dinding berasingan bagi setiap **tugas** supaya gelung yang tidak berhenti tidak berjalan sepanjang malam.

## 2\. Mengapakah perlu penstriman dalam ejen berjalan lama?

[Penstriman](https://broadrouter.com/ms/glossary/streaming/) memberi anda isyarat semasa model bekerja. Tanpanya, panggilan perlahan dan sambungan mati kelihatan sama sehingga tamat masa tercetus. Dengannya, anda boleh melihat cebisan tiba dan juga mendapat penggunaan token dalam cebisan terakhir.

Peraturan penstriman BroadNet: baca sehingga baris literal `data: [DONE]`. Jika sambungan ditutup sebelum itu, jawapan tidak lengkap. Rekodkan `X-Request-ID`, kemudian putuskan sama ada hendak membuat permintaan baharu. [Panduan penuh penstriman](https://broadrouter.com/ms/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Lakaran ini hanya mengumpul teks. Jika anda menstrim panggilan alat, kumpul juga `delta.tool_calls` mengikut indeks.

## 3\. Apakah yang patut anda cuba semula?

SDK sudah mencuba semula ralat sambungan, 408, 409, 429 dan 5xx. Tambah cubaan semula anda sendiri di atasnya hanya untuk apa yang tidak dapat dilihatnya, seperti strim yang tidak lengkap:

1.  **Cuba semula:** ralat sambungan, 429, 5xx, strim tidak lengkap. Gunakan [backoff eksponen](https://broadrouter.com/ms/glossary/exponential-backoff/) dengan jitter dan had, contohnya 4 percubaan.
2.  **Baiki, jangan cuba semula:** 400, 401, 402, 403, 413, 422. Ini gagal dengan cara yang sama setiap kali. Lihat [kod ralat dan bila perlu mencuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).
3.  **Bajetkan cubaan semula setiap tugas**, bukan hanya setiap panggilan. Sepuluh langkah yang masing-masing mencuba semula empat kali ialah empat puluh panggilan tambahan.
4.  **Failover apabila cubaan semula habis.** Jika larian mesti bertahan semasa gangguan penyedia, pindahkan ralat sambungan, 5xx dan 429 had kadar ke penyedia kedua. [Failover API LLM](https://broadrouter.com/ms/blog/llm-api-failover-fallback/) menunjukkan kod klien dan pemutus litar.

Pada bayar ikut guna, setiap cubaan semula ialah inferens baharu, dibilkan sekali lagi. Kunci bayar ikut guna juga membenarkan 30 permintaan seminit dan 4 serentak, jadi ribut cubaan semula cepat mencecah [had kadar](https://broadrouter.com/ms/glossary/rate-limit/); [kalkulator had kadar](https://broadrouter.com/tools/llm-rate-limit-calculator/) menunjukkan berapa banyak ruang yang ejen anda ada. [Catatan pengendalian 429](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/) membincangkan backoff dengan terperinci. Pada [pelan tanpa had](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/), cubaan semula tidak berkos tambahan, tetapi ia menduduki satu-satunya slot permintaan sesi semasa berjalan.

## 4\. Bagaimanakah anda menjadikan panggilan alat idempoten?

Panggilan model tiada kesan sampingan. Panggilan alat boleh ada. Jika ejen ranap selepas `send_invoice` berjalan tetapi sebelum langkah disimpan, ejen yang dimulakan semula akan menghantarnya lagi.

Beri setiap panggilan yang ada kesan sampingan [kunci idempotensi](https://broadrouter.com/ms/glossary/idempotency-key/) yang diterbitkan daripada tugas dan langkah, semak sebelum bertindak, dan langkau panggilan jika ia sudah direkodkan:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Banyak API pembayaran dan pemesejan menerima pengepala kunci idempotensi. Hantar kunci anda apabila ia diterima.

## 5\. Bagaimanakah anda membuat checkpoint ejen?

Simpan selepas setiap langkah yang selesai: senarai mesej, nombor langkah dan kunci kesan sampingan. Semasa bermula, muatkan checkpoint terkini jika ada.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Menulis ke fail sementara dan menamakannya semula bermakna ranap di tengah penulisan tidak pernah meninggalkan checkpoint separuh. Untuk sesi yang sangat panjang, buat checkpoint **ringkasan** juga: gantikan giliran lama dengan ringkasan pendek supaya ejen yang disambung semula tidak memuatkan semula sejarah yang besar. Itu memastikan anda kekal dalam [tetingkap konteks](https://broadrouter.com/ms/glossary/context-window/), walaupun pada 1,048,576 token pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/).

## Senarai semak sebelum larian semalaman

1.  Tamat masa dan `max_retries` ditetapkan secara eksplisit pada klien.
2.  Penstriman dihidupkan, dengan `include_usage`, dan strim tidak lengkap dicuba semula.
3.  Bajet cubaan semula setiap tugas dan had masa jam dinding.
4.  Kunci idempotensi pada setiap alat yang menulis, menghantar atau membayar.
5.  Checkpoint selepas setiap langkah, ditulis secara atomik.
6.  Log dengan nombor langkah, tempoh, token dan `X-Request-ID`.

Jika anda menjalankan beberapa ejen serentak, baca [menjalankan ejen pengekodan selari pada kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/) dan [kos persediaan berbilang ejen](https://broadrouter.com/ms/blog/multi-agent-cost/).

## Di manakah BroadNet Inference sesuai

BroadNet Inference menggunakan penstriman chat-completions standard, memulangkan pengepala `X-Request-ID` yang boleh anda log, dan mendokumenkan ralat mana yang perlu dicuba semula, jadi corak di atas berfungsi seperti yang ditulis. Untuk ejen yang berjalan sepanjang hari, pelan tanpa had membuang meter token pada DeepSeek V4.1 Flash dengan $60 sebulan bagi setiap sesi, yang menjadikan cubaan semula percuma. Ingat bahawa satu jam Meteor tamat sejam selepas pembelian dan seminggu Orbit selepas tujuh hari, jadi tugas yang panjang mesti selesai dalam tempoh itu atau beralih ke sesi Full Moon yang diperbaharui. Pelan ada di [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agents-timeouts-retries&utm_content=body).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Tamat masa permintaan (request timeout)](https://broadrouter.com/ms/glossary/request-timeout/)

Tamat masa permintaan (request timeout) ialah tempoh paling lama klien HTTP menunggu pelayan sebelum meninggalkan permintaan. Klien biasanya membahagikannya kepada connect timeout untuk membuka sambungan dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar kerana jawapan panjang mengambil masa.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Pelan LLM harga tetap (flat-rate LLM plan)](https://broadrouter.com/ms/glossary/flat-rate-llm-plan/)

Pelan LLM harga tetap mengenakan harga tetap bagi satu tempoh, seperti sebulan, untuk akses kepada API model bahasa dan bukannya mengebil setiap token. Pelan sebegini biasanya mengehadkan perkara lain, seperti keserentakan, kelajuan, model atau tetingkap penggunaan, jadi hadnya sama penting dengan harganya.

[Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/)

Backoff eksponen ialah strategi cuba semula di mana klien menunggu lebih lama selepas setiap percubaan yang gagal, biasanya menggandakan kelewatan sehingga had tertentu, sebelum mencuba lagi. Menambah jitter rawak pada setiap penantian menyebarkan cubaan semula daripada banyak klien supaya mereka tidak mengenai pelayan pada saat yang sama.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

## Soalan lazim

### Apakah tamat masa yang patut saya tetapkan untuk panggilan API LLM dalam ejen?

Cukup panjang untuk panggilan sah yang paling perlahan, cukup pendek untuk menangkap yang tergantung. Lalai OpenAI Python SDK ialah 10 minit. Banyak ejen menggunakan 2 hingga 5 minit setiap panggilan dengan penstriman, dan had masa jam dinding berasingan bagi setiap tugas.

### Ralat API LLM manakah yang patut dicuba semula oleh ejen?

Cuba semula ralat sambungan, 429 dan 5xx dengan backoff eksponen terhad dan jitter. Baiki 400, 401, 402, 403, 413 dan 422 dan bukannya mencuba semula. Pada BroadNet, log juga pengepala X-Request-ID bagi setiap kegagalan.

### Adakah selamat mencuba semula chat completion?

Panggilan model itu sendiri tiada kesan sampingan, jadi ya, tetapi ia inferens baharu dan dibilkan sekali lagi pada bayar ikut guna. Bahayanya pada alat. Langkah yang dicuba semula boleh menghantar e-mel dua kali melainkan alat itu menggunakan kunci idempotensi.

### Bagaimanakah saya menyambung semula ejen selepas ranap?

Simpan senarai mesej dan nombor langkah selepas setiap langkah yang selesai, tulis ID kesan sampingan sebelum bertindak, dan muatkannya semula semasa bermula. Ejen akan menyambung dari langkah terakhir yang disimpan.

### Adakah ejen yang berjalan lama memerlukan pelan tanpa had?

Tidak, tetapi cubaan semula dan konteks panjang bertambah pada bayar ikut guna. Pada pelan tanpa had BroadNet, DeepSeek V4.1 Flash tiada meter token, jadi cubaan semula tidak berkos tambahan, walaupun setiap sesi masih menjalankan satu permintaan pada satu masa.

## Teruskan membaca

-   [Tool calling pada model terbuka: skema, panggilan selari, cuba semula](https://broadrouter.com/ms/blog/tool-calling-open-models/)
-   [Kos sebenar persediaan berbilang ejen: setiap token vs sesi tetap](https://broadrouter.com/ms/blog/multi-agent-cost/)
-   [Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/)
-   [Apakah maksud sebenar "tanpa had" dalam pelan API LLM](https://broadrouter.com/ms/blog/what-unlimited-llm-api-really-means/)
-   [Failover API LLM: beralih ke penyedia kedua dalam kod anda sendiri](https://broadrouter.com/ms/blog/llm-api-failover-fallback/)
-   [Berapakah kos satu larian ejen pengekodan AI: langkah, konteks, cache](https://broadrouter.com/ms/blog/ai-coding-agent-run-cost/)
-   [Claude Code dengan model terbuka: proksi, endpoint asli dan had](https://broadrouter.com/ms/blog/claude-code-with-openai-compatible-models/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Panduan: Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/)
-   [Panduan: Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Sumber**

-   [README OpenAI Python SDK, cubaan semula dan tamat masa (disemak 2026-11-14)](https://github.com/openai/openai-python)
-   [Rujukan API BroadNet Inference, ralat dan cubaan semula (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [Rujukan API BroadNet Inference, penstriman dan had (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Pelan tanpa had BroadNet Inference (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agents-timeouts-retries&utm_content=sources)
