Agent yang berjalan lima menit bisa mengabaikan kegagalan. Agent yang berjalan lima jam akan menemui timeout, 429, stream yang terputus, dan kemungkinan besar restart. Kebanyakan panduan tentang agent yang berjalan lama menjual workflow engine. Anda mungkin tidak membutuhkannya. Artikel ini membahas lima kebiasaan yang menjaga loop agent sederhana tetap hidup berjam-jam, lengkap dengan kode untuk OpenAI Python SDK.
Apa yang rusak saat agent berjalan berjam-jam?
| Kegagalan | Bentuknya | Kebiasaan yang menanganinya |
|---|---|---|
| Panggilan macet atau lambat | Tidak ada balasan selama beberapa menit | Timeout per panggilan, streaming |
| Rate limit atau overload | 429, 5xx | Retry terbatas dengan backoff |
| Stream terputus | Koneksi berakhir sebelum [DONE] |
Anggap tidak lengkap, retry panggilannya |
| Efek samping ganda | Tool berjalan dua kali setelah retry | Idempotency key |
| Proses crash atau deploy | Agent mulai ulang dari langkah 1 | Checkpoint per langkah |
1. Berapa lama sebuah panggilan boleh berjalan?
README OpenAI Python SDK menyebutkan permintaan secara default timeout setelah 10 menit dan error tertentu di-retry dua kali. Untuk agent, atur keduanya sendiri agar perilakunya tidak berubah tanpa sepengetahuan Anda:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Tentukan timeout berdasarkan data. Catat durasi setiap panggilan selama sehari; pasang timeout jauh di atas panggilan sukses yang paling lambat. Prompt besar butuh waktu lebih lama untuk mulai, dan model penalaran berpikir dulu sebelum menulis. Pada sekitar 100 token per detik, 8.000 token output saja sudah memakan waktu lebih dari satu menit. Tambahkan anggaran waktu nyata (wall-clock) terpisah per tugas agar loop yang terus berjalan tidak jalan semalaman.
2. Mengapa memakai streaming di agent yang berjalan lama?
Streaming memberi Anda sinyal selama model bekerja. Tanpa streaming, panggilan yang lambat dan koneksi yang mati terlihat sama sampai timeout terpicu. Dengan streaming, Anda bisa melihat chunk berdatangan dan juga mendapat pemakaian token di chunk terakhir.
Aturan streaming BroadNet: baca sampai baris literal data: [DONE]. Jika koneksi tertutup sebelum itu, jawabannya tidak lengkap. Catat X-Request-ID, lalu putuskan apakah akan membuat permintaan baru. Panduan streaming lengkap.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Sketsa ini hanya mengumpulkan teks. Jika Anda men-stream tool call, kumpulkan juga delta.tool_calls berdasarkan index.
3. Apa yang sebaiknya di-retry?
SDK sudah melakukan retry untuk error koneksi, 408, 409, 429, dan 5xx. Tambahkan retry Anda sendiri di atasnya hanya untuk hal yang tidak bisa dilihat SDK, seperti stream yang tidak lengkap:
- Retry: error koneksi, 429, 5xx, stream tidak lengkap. Pakai exponential backoff dengan jitter dan batas, misalnya 4 percobaan.
- Perbaiki, jangan retry: 400, 401, 402, 403, 413, 422. Error ini akan gagal dengan cara yang sama setiap kali. Lihat kode error dan kapan melakukan retry.
- Anggarkan retry per tugas, bukan hanya per panggilan. Sepuluh langkah yang masing-masing di-retry empat kali berarti empat puluh panggilan tambahan.
- Lakukan failover setelah jatah retry habis. Jika sebuah run harus bertahan saat provider mengalami gangguan, pindahkan error koneksi, 5xx, dan 429 akibat rate limit ke provider kedua. Failover API LLM menunjukkan kode client dan circuit breaker-nya.
Pada bayar sesuai pemakaian, setiap retry adalah inferensi baru yang ditagih lagi. Kunci bayar sesuai pemakaian juga mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, jadi badai retry cepat mencapai rate limit; kalkulator rate limit menunjukkan seberapa besar ruang yang dimiliki agent Anda. Artikel penanganan 429 membahas backoff secara rinci. Pada paket unlimited, retry tidak menambah biaya, tetapi menempati satu-satunya slot permintaan sesi selama berjalan.
4. Bagaimana membuat tool call idempoten?
Panggilan model tidak punya efek samping. Tool call bisa punya. Jika agent crash setelah send_invoice berjalan tetapi sebelum langkahnya tersimpan, agent yang di-restart akan mengirimnya lagi.
Beri setiap panggilan yang punya efek samping sebuah idempotency key yang diturunkan dari tugas dan langkahnya, cek sebelum bertindak, dan lewati panggilan jika sudah tercatat:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Banyak API pembayaran dan pesan menerima header idempotency key. Teruskan key Anda jika API tersebut mendukungnya.
5. Bagaimana membuat checkpoint untuk agent?
Simpan setelah setiap langkah selesai: daftar pesan, nomor langkah, dan key efek samping. Saat start, muat checkpoint terbaru jika ada.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Menulis ke file sementara lalu mengganti namanya berarti crash di tengah penulisan tidak akan pernah meninggalkan checkpoint setengah jadi. Untuk sesi yang sangat panjang, simpan juga ringkasan: ganti giliran lama dengan ringkasan singkat agar agent yang dilanjutkan tidak memuat ulang riwayat yang sangat besar. Itu menjaga Anda tetap di dalam context window, bahkan pada 1.048.576 token di DeepSeek V4.1 Flash.
Checklist sebelum run semalaman
- Timeout dan
max_retriesdiatur secara eksplisit di client. - Streaming aktif, dengan
include_usage, dan stream yang tidak lengkap di-retry. - Anggaran retry per tugas dan batas waktu nyata.
- Idempotency key di setiap tool yang menulis, mengirim, atau membayar.
- Checkpoint setelah setiap langkah, ditulis secara atomik.
- Log berisi nomor langkah, durasi, token, dan
X-Request-ID.
Jika Anda menjalankan beberapa agent berdampingan, baca menjalankan coding agent paralel dengan tarif tetap dan biaya setup multi-agent.
Posisi BroadNet Inference
BroadNet Inference memakai streaming chat completions standar, mengembalikan header X-Request-ID yang bisa Anda catat, dan mendokumentasikan error mana yang perlu di-retry, sehingga pola di atas berjalan seperti yang tertulis. Untuk agent yang berjalan seharian, paket unlimited menghapus meteran token di DeepSeek V4.1 Flash dengan harga $60 per bulan per sesi, sehingga retry jadi gratis. Ingat bahwa satu jam Meteor berakhir satu jam setelah pembelian dan satu minggu Orbit setelah tujuh hari, jadi pekerjaan panjang harus selesai dalam periode itu atau dipindah ke sesi Full Moon yang diperpanjang otomatis. Paketnya ada di inference.broadnet.ai/plans.
