Ejen yang berjalan lima minit boleh mengabaikan kegagalan. Ejen yang berjalan lima jam akan berdepan tamat masa, 429, strim terputus dan mungkin mula semula. Kebanyakan panduan tentang ejen berjalan lama menjual enjin aliran kerja. Anda mungkin tidak memerlukannya. Catatan ini membincangkan lima tabiat yang memastikan gelung ejen biasa terus hidup berjam-jam, dengan kod untuk OpenAI Python SDK.
Apakah yang rosak apabila ejen berjalan berjam-jam?
| Kegagalan | Rupanya | Tabiat yang mengendalikannya |
|---|---|---|
| Panggilan tergantung atau perlahan | Tiada jawapan selama beberapa minit | Tamat masa setiap panggilan, penstriman |
| Had kadar atau beban lampau | 429, 5xx | Cubaan semula terhad dengan backoff |
| Strim terputus | Sambungan berakhir sebelum [DONE] |
Anggap tidak lengkap, cuba semula panggilan |
| Kesan sampingan berganda | Alat berjalan dua kali selepas cubaan semula | Kunci idempotensi |
| Proses ranap atau deploy | Ejen bermula semula pada langkah 1 | Checkpoint setiap langkah |
1. Berapa lama panggilan patut dibenarkan mengambil masa?
README OpenAI Python SDK menyatakan permintaan tamat masa selepas 10 minit secara lalai dan ralat tertentu dicuba semula dua kali. Untuk ejen, tetapkan kedua-duanya sendiri, supaya tingkah laku tidak berubah tanpa anda sedari:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Pilih tamat masa berdasarkan data. Log tempoh setiap panggilan selama sehari; tetapkan tamat masa jauh di atas panggilan berjaya yang paling perlahan. Prompt besar mengambil masa lebih lama untuk bermula, dan model penaakulan berfikir sebelum menulis. Pada kira-kira 100 token sesaat, 8,000 token output sahaja mengambil masa lebih seminit. Tambah bajet masa jam dinding berasingan bagi setiap tugas supaya gelung yang tidak berhenti tidak berjalan sepanjang malam.
2. Mengapakah perlu penstriman dalam ejen berjalan lama?
Penstriman memberi anda isyarat semasa model bekerja. Tanpanya, panggilan perlahan dan sambungan mati kelihatan sama sehingga tamat masa tercetus. Dengannya, anda boleh melihat cebisan tiba dan juga mendapat penggunaan token dalam cebisan terakhir.
Peraturan penstriman BroadNet: baca sehingga baris literal data: [DONE]. Jika sambungan ditutup sebelum itu, jawapan tidak lengkap. Rekodkan X-Request-ID, kemudian putuskan sama ada hendak membuat permintaan baharu. Panduan penuh penstriman.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Lakaran ini hanya mengumpul teks. Jika anda menstrim panggilan alat, kumpul juga delta.tool_calls mengikut indeks.
3. Apakah yang patut anda cuba semula?
SDK sudah mencuba semula ralat sambungan, 408, 409, 429 dan 5xx. Tambah cubaan semula anda sendiri di atasnya hanya untuk apa yang tidak dapat dilihatnya, seperti strim yang tidak lengkap:
- Cuba semula: ralat sambungan, 429, 5xx, strim tidak lengkap. Gunakan backoff eksponen dengan jitter dan had, contohnya 4 percubaan.
- Baiki, jangan cuba semula: 400, 401, 402, 403, 413, 422. Ini gagal dengan cara yang sama setiap kali. Lihat kod ralat dan bila perlu mencuba semula.
- Bajetkan cubaan semula setiap tugas, bukan hanya setiap panggilan. Sepuluh langkah yang masing-masing mencuba semula empat kali ialah empat puluh panggilan tambahan.
- Failover apabila cubaan semula habis. Jika larian mesti bertahan semasa gangguan penyedia, pindahkan ralat sambungan, 5xx dan 429 had kadar ke penyedia kedua. Failover API LLM menunjukkan kod klien dan pemutus litar.
Pada bayar ikut guna, setiap cubaan semula ialah inferens baharu, dibilkan sekali lagi. Kunci bayar ikut guna juga membenarkan 30 permintaan seminit dan 4 serentak, jadi ribut cubaan semula cepat mencecah had kadar; kalkulator had kadar menunjukkan berapa banyak ruang yang ejen anda ada. Catatan pengendalian 429 membincangkan backoff dengan terperinci. Pada pelan tanpa had, cubaan semula tidak berkos tambahan, tetapi ia menduduki satu-satunya slot permintaan sesi semasa berjalan.
4. Bagaimanakah anda menjadikan panggilan alat idempoten?
Panggilan model tiada kesan sampingan. Panggilan alat boleh ada. Jika ejen ranap selepas send_invoice berjalan tetapi sebelum langkah disimpan, ejen yang dimulakan semula akan menghantarnya lagi.
Beri setiap panggilan yang ada kesan sampingan kunci idempotensi yang diterbitkan daripada tugas dan langkah, semak sebelum bertindak, dan langkau panggilan jika ia sudah direkodkan:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Banyak API pembayaran dan pemesejan menerima pengepala kunci idempotensi. Hantar kunci anda apabila ia diterima.
5. Bagaimanakah anda membuat checkpoint ejen?
Simpan selepas setiap langkah yang selesai: senarai mesej, nombor langkah dan kunci kesan sampingan. Semasa bermula, muatkan checkpoint terkini jika ada.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Menulis ke fail sementara dan menamakannya semula bermakna ranap di tengah penulisan tidak pernah meninggalkan checkpoint separuh. Untuk sesi yang sangat panjang, buat checkpoint ringkasan juga: gantikan giliran lama dengan ringkasan pendek supaya ejen yang disambung semula tidak memuatkan semula sejarah yang besar. Itu memastikan anda kekal dalam tetingkap konteks, walaupun pada 1,048,576 token pada DeepSeek V4.1 Flash.
Senarai semak sebelum larian semalaman
- Tamat masa dan
max_retriesditetapkan secara eksplisit pada klien. - Penstriman dihidupkan, dengan
include_usage, dan strim tidak lengkap dicuba semula. - Bajet cubaan semula setiap tugas dan had masa jam dinding.
- Kunci idempotensi pada setiap alat yang menulis, menghantar atau membayar.
- Checkpoint selepas setiap langkah, ditulis secara atomik.
- Log dengan nombor langkah, tempoh, token dan
X-Request-ID.
Jika anda menjalankan beberapa ejen serentak, baca menjalankan ejen pengekodan selari pada kadar tetap dan kos persediaan berbilang ejen.
Di manakah BroadNet Inference sesuai
BroadNet Inference menggunakan penstriman chat-completions standard, memulangkan pengepala X-Request-ID yang boleh anda log, dan mendokumenkan ralat mana yang perlu dicuba semula, jadi corak di atas berfungsi seperti yang ditulis. Untuk ejen yang berjalan sepanjang hari, pelan tanpa had membuang meter token pada DeepSeek V4.1 Flash dengan $60 sebulan bagi setiap sesi, yang menjadikan cubaan semula percuma. Ingat bahawa satu jam Meteor tamat sejam selepas pembelian dan seminggu Orbit selepas tujuh hari, jadi tugas yang panjang mesti selesai dalam tempoh itu atau beralih ke sesi Full Moon yang diperbaharui. Pelan ada di inference.broadnet.ai/plans.
