---
title: "AI agent yang berjalan lama: timeout, retry, checkpoint"
description: "Jaga agent LLM berjalan berjam-jam: timeout per panggilan, streaming untuk deteksi macet, retry aman, tool idempoten, dan checkpoint di setiap langkah."
url: https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (diperbarui 2026-11-16).

# Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Anggap setiap panggilan model bisa dibuang dan state agent harus awet. Pasang timeout per panggilan, pakai streaming untuk mendeteksi macet, lakukan retry untuk 429, 5xx, dan stream yang terputus dengan backoff terbatas, serta beri setiap tool yang punya efek samping sebuah idempotency key. Simpan daftar pesan setelah setiap langkah agar crash dilanjutkan dari checkpoint terakhir, bukan dari awal.

## Poin penting

-   OpenAI Python SDK secara default timeout setelah 10 menit dan melakukan retry dua kali. Atur keduanya secara eksplisit untuk agent.
-   Stream yang berakhir sebelum data \[DONE\] adalah jawaban yang tidak lengkap. Melakukan retry berarti inferensi baru, yang ditagih lagi pada bayar sesuai pemakaian.
-   Panggilan model aman untuk di-retry. Efek samping tool tidak aman, kecuali membawa idempotency key.
-   Buat checkpoint setelah setiap langkah selesai: daftar pesan, nomor langkah, dan ID efek samping yang sudah selesai.
-   Pada sesi paket, retry tidak menambah biaya, tetapi menempati satu-satunya slot permintaan selama berjalan.

**Di halaman ini**

1.  Apa yang rusak saat agent berjalan berjam-jam?
2.  1\. Berapa lama sebuah panggilan boleh berjalan?
3.  2\. Mengapa memakai streaming di agent yang berjalan lama?
4.  3\. Apa yang sebaiknya di-retry?
5.  4\. Bagaimana membuat tool call idempoten?
6.  5\. Bagaimana membuat checkpoint untuk agent?
7.  Checklist sebelum run semalaman
8.  Posisi BroadNet Inference

Agent yang berjalan lima menit bisa mengabaikan kegagalan. Agent yang berjalan lima jam akan menemui timeout, 429, stream yang terputus, dan kemungkinan besar restart. Kebanyakan panduan tentang agent yang berjalan lama menjual workflow engine. Anda mungkin tidak membutuhkannya. Artikel ini membahas lima kebiasaan yang menjaga loop agent sederhana tetap hidup berjam-jam, lengkap dengan kode untuk OpenAI Python SDK.

## Apa yang rusak saat agent berjalan berjam-jam?

| Kegagalan | Bentuknya | Kebiasaan yang menanganinya |
| --- | --- | --- |
| Panggilan macet atau lambat | Tidak ada balasan selama beberapa menit | Timeout per panggilan, streaming |
| Rate limit atau overload | 429, 5xx | Retry terbatas dengan backoff |
| Stream terputus | Koneksi berakhir sebelum `[DONE]` | Anggap tidak lengkap, retry panggilannya |
| Efek samping ganda | Tool berjalan dua kali setelah retry | Idempotency key |
| Proses crash atau deploy | Agent mulai ulang dari langkah 1 | Checkpoint per langkah |

## 1\. Berapa lama sebuah panggilan boleh berjalan?

README OpenAI Python SDK menyebutkan permintaan secara default timeout setelah 10 menit dan error tertentu di-retry dua kali. Untuk agent, atur keduanya sendiri agar perilakunya tidak berubah tanpa sepengetahuan Anda:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Tentukan timeout berdasarkan data. Catat durasi setiap panggilan selama sehari; pasang timeout jauh di atas panggilan sukses yang paling lambat. Prompt besar butuh waktu lebih lama untuk mulai, dan [model penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/) berpikir dulu sebelum menulis. Pada sekitar 100 token per detik, 8.000 token output saja sudah memakan waktu lebih dari satu menit. Tambahkan anggaran waktu nyata (wall-clock) terpisah per **tugas** agar loop yang terus berjalan tidak jalan semalaman.

## 2\. Mengapa memakai streaming di agent yang berjalan lama?

[Streaming](https://broadrouter.com/id/glossary/streaming/) memberi Anda sinyal selama model bekerja. Tanpa streaming, panggilan yang lambat dan koneksi yang mati terlihat sama sampai timeout terpicu. Dengan streaming, Anda bisa melihat chunk berdatangan dan juga mendapat pemakaian token di chunk terakhir.

Aturan streaming BroadNet: baca sampai baris literal `data: [DONE]`. Jika koneksi tertutup sebelum itu, jawabannya tidak lengkap. Catat `X-Request-ID`, lalu putuskan apakah akan membuat permintaan baru. [Panduan streaming lengkap](https://broadrouter.com/id/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Sketsa ini hanya mengumpulkan teks. Jika Anda men-stream tool call, kumpulkan juga `delta.tool_calls` berdasarkan index.

## 3\. Apa yang sebaiknya di-retry?

SDK sudah melakukan retry untuk error koneksi, 408, 409, 429, dan 5xx. Tambahkan retry Anda sendiri di atasnya hanya untuk hal yang tidak bisa dilihat SDK, seperti stream yang tidak lengkap:

1.  **Retry:** error koneksi, 429, 5xx, stream tidak lengkap. Pakai [exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) dengan jitter dan batas, misalnya 4 percobaan.
2.  **Perbaiki, jangan retry:** 400, 401, 402, 403, 413, 422. Error ini akan gagal dengan cara yang sama setiap kali. Lihat [kode error dan kapan melakukan retry](https://broadrouter.com/id/guides/errors-and-retries/).
3.  **Anggarkan retry per tugas**, bukan hanya per panggilan. Sepuluh langkah yang masing-masing di-retry empat kali berarti empat puluh panggilan tambahan.
4.  **Lakukan failover setelah jatah retry habis.** Jika sebuah run harus bertahan saat provider mengalami gangguan, pindahkan error koneksi, 5xx, dan 429 akibat rate limit ke provider kedua. [Failover API LLM](https://broadrouter.com/id/blog/llm-api-failover-fallback/) menunjukkan kode client dan circuit breaker-nya.

Pada bayar sesuai pemakaian, setiap retry adalah inferensi baru yang ditagih lagi. Kunci bayar sesuai pemakaian juga mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, jadi badai retry cepat mencapai [rate limit](https://broadrouter.com/id/glossary/rate-limit/); [kalkulator rate limit](https://broadrouter.com/tools/llm-rate-limit-calculator/) menunjukkan seberapa besar ruang yang dimiliki agent Anda. [Artikel penanganan 429](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/) membahas backoff secara rinci. Pada [paket unlimited](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/), retry tidak menambah biaya, tetapi menempati satu-satunya slot permintaan sesi selama berjalan.

## 4\. Bagaimana membuat tool call idempoten?

Panggilan model tidak punya efek samping. Tool call bisa punya. Jika agent crash setelah `send_invoice` berjalan tetapi sebelum langkahnya tersimpan, agent yang di-restart akan mengirimnya lagi.

Beri setiap panggilan yang punya efek samping sebuah [idempotency key](https://broadrouter.com/id/glossary/idempotency-key/) yang diturunkan dari tugas dan langkahnya, cek sebelum bertindak, dan lewati panggilan jika sudah tercatat:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Banyak API pembayaran dan pesan menerima header idempotency key. Teruskan key Anda jika API tersebut mendukungnya.

## 5\. Bagaimana membuat checkpoint untuk agent?

Simpan setelah setiap langkah selesai: daftar pesan, nomor langkah, dan key efek samping. Saat start, muat checkpoint terbaru jika ada.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Menulis ke file sementara lalu mengganti namanya berarti crash di tengah penulisan tidak akan pernah meninggalkan checkpoint setengah jadi. Untuk sesi yang sangat panjang, simpan juga **ringkasan**: ganti giliran lama dengan ringkasan singkat agar agent yang dilanjutkan tidak memuat ulang riwayat yang sangat besar. Itu menjaga Anda tetap di dalam [context window](https://broadrouter.com/id/glossary/context-window/), bahkan pada 1.048.576 token di [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/).

## Checklist sebelum run semalaman

1.  Timeout dan `max_retries` diatur secara eksplisit di client.
2.  Streaming aktif, dengan `include_usage`, dan stream yang tidak lengkap di-retry.
3.  Anggaran retry per tugas dan batas waktu nyata.
4.  Idempotency key di setiap tool yang menulis, mengirim, atau membayar.
5.  Checkpoint setelah setiap langkah, ditulis secara atomik.
6.  Log berisi nomor langkah, durasi, token, dan `X-Request-ID`.

Jika Anda menjalankan beberapa agent berdampingan, baca [menjalankan coding agent paralel dengan tarif tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/) dan [biaya setup multi-agent](https://broadrouter.com/id/blog/multi-agent-cost/).

## Posisi BroadNet Inference

BroadNet Inference memakai streaming chat completions standar, mengembalikan header `X-Request-ID` yang bisa Anda catat, dan mendokumentasikan error mana yang perlu di-retry, sehingga pola di atas berjalan seperti yang tertulis. Untuk agent yang berjalan seharian, paket unlimited menghapus meteran token di DeepSeek V4.1 Flash dengan harga $60 per bulan per sesi, sehingga retry jadi gratis. Ingat bahwa satu jam Meteor berakhir satu jam setelah pembelian dan satu minggu Orbit setelah tujuh hari, jadi pekerjaan panjang harus selesai dalam periode itu atau dipindah ke sesi Full Moon yang diperpanjang otomatis. Paketnya ada di [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agents-timeouts-retries&utm_content=body).

Alat gratis untuk topik ini (bahasa Inggris)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/)

Idempotency key adalah nilai unik, biasanya ID acak seperti UUID, yang dilampirkan klien pada request yang mengubah state, misalnya pembayaran atau pembelian. Jika request yang sama dikirim lagi dengan key yang sama, server mengembalikan hasil aslinya alih-alih menjalankan aksi itu dua kali.

[Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/)

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/)

Exponential backoff adalah strategi percobaan ulang di mana client menunggu makin lama setelah setiap percobaan yang gagal, biasanya menggandakan jedanya sampai batas tertentu, sebelum mencoba lagi. Menambahkan jitter acak pada setiap jeda menyebarkan percobaan ulang dari banyak client agar tidak menghantam server pada saat yang sama.

## Pertanyaan umum

### Berapa timeout yang sebaiknya saya pasang untuk panggilan API LLM di agent?

Cukup lama untuk panggilan sah yang paling lambat, cukup singkat untuk menangkap panggilan yang macet. OpenAI Python SDK memakai default 10 menit. Banyak agent memakai 2 sampai 5 menit per panggilan dengan streaming, ditambah batas waktu nyata (wall-clock) terpisah per tugas.

### Error API LLM mana yang sebaiknya di-retry oleh agent?

Lakukan retry untuk error koneksi, 429, dan 5xx dengan exponential backoff terbatas plus jitter. Perbaiki 400, 401, 402, 403, 413, dan 422, jangan di-retry. Di BroadNet, catat juga header X-Request-ID untuk setiap kegagalan.

### Apakah aman melakukan retry pada chat completion?

Panggilan model itu sendiri tidak punya efek samping, jadi aman, tetapi itu inferensi baru dan ditagih lagi pada bayar sesuai pemakaian. Bahayanya ada di tool. Langkah yang di-retry bisa mengirim email dua kali kecuali tool-nya memakai idempotency key.

### Bagaimana melanjutkan agent setelah crash?

Simpan daftar pesan dan nomor langkah setelah setiap langkah selesai, tulis ID efek samping sebelum bertindak, lalu muat ulang semuanya saat start. Agent akan melanjutkan dari langkah terakhir yang tersimpan.

### Apakah agent yang berjalan lama butuh paket unlimited?

Tidak, tetapi retry dan context panjang akan menumpuk biayanya pada bayar sesuai pemakaian. Di paket unlimited BroadNet, DeepSeek V4.1 Flash tidak punya meteran token, jadi retry tidak menambah biaya, meskipun setiap sesi tetap menjalankan satu permintaan dalam satu waktu.

## Baca juga

-   [Tool calling dengan model terbuka: skema, panggilan paralel, retry](https://broadrouter.com/id/blog/tool-calling-open-models/)
-   [Biaya sebenarnya setup multi-agent: per token vs sesi harga tetap](https://broadrouter.com/id/blog/multi-agent-cost/)
-   [Cara menjalankan agen coding paralel dengan API LLM harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/)
-   [Apa arti "unlimited" yang sebenarnya di paket API LLM](https://broadrouter.com/id/blog/what-unlimited-llm-api-really-means/)
-   [Failover API LLM: pindah ke penyedia kedua lewat kode Anda sendiri](https://broadrouter.com/id/blog/llm-api-failover-fallback/)
-   [Berapa biaya sekali jalan agen coding AI: langkah, konteks, caching](https://broadrouter.com/id/blog/ai-coding-agent-run-cost/)
-   [Claude Code dengan model terbuka: proxy, endpoint native, dan batasnya](https://broadrouter.com/id/blog/claude-code-with-openai-compatible-models/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Cara kerja paket API LLM unlimited untuk agen](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Sumber**

-   [README OpenAI Python SDK, retry dan timeout (dicek 2026-11-14)](https://github.com/openai/openai-python)
-   [Referensi API BroadNet Inference, error dan retry (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [Referensi API BroadNet Inference, streaming dan batasan (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Paket unlimited BroadNet Inference (bahasa Inggris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agents-timeouts-retries&utm_content=sources)
