Beş dakika çalışan bir ajan hataları görmezden gelebilir. Beş saat çalışan bir ajan ise bir zaman aşımı, bir 429, kopan bir akış ve büyük olasılıkla bir yeniden başlatma görecektir. Uzun süren ajanlar üzerine rehberlerin çoğu bir iş akışı motoru satar. Belki buna ihtiyacınız yoktur. Bu yazı, sade bir ajan döngüsünü saatlerce ayakta tutan beş alışkanlığı OpenAI Python SDK koduyla anlatıyor.
Bir ajan saatlerce çalışınca ne bozulur?
| Hata | Nasıl görünür | Bunu karşılayan alışkanlık |
|---|---|---|
| Takılan veya yavaş çağrı | Dakikalarca yanıt yok | Çağrı başına zaman aşımı, akış |
| Hız sınırı veya aşırı yük | 429, 5xx | Geri çekilmeli, sınırlı yeniden deneme |
| Kopan akış | Bağlantı [DONE] gelmeden kapanır |
Eksik sayın, çağrıyı yeniden deneyin |
| Yinelenen yan etki | Yeniden denemeden sonra araç iki kez çalışır | Idempotency anahtarları |
| Süreç çökmesi veya dağıtım | Ajan 1. adımdan yeniden başlar | Her adımda kontrol noktası |
1. Bir çağrının ne kadar sürmesine izin verilmeli?
OpenAI Python SDK’nın README dosyası, isteklerin varsayılan olarak 10 dakika sonra zaman aşımına uğradığını ve belirli hataların iki kez yeniden denendiğini söylüyor. Bir ajanda davranışın siz farkında olmadan değişmemesi için ikisini de kendiniz ayarlayın:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Zaman aşımını veriye bakarak seçin. Bir gün boyunca her çağrının süresini günlüğe yazın; zaman aşımını en yavaş başarılı çağrının epey üstüne koyun. Büyük istemlerin başlaması daha uzun sürer, akıl yürütme modelleri de yazmadan önce düşünür. saniyede yaklaşık 100 token hızda 8.000 çıktı token’ı tek başına bir dakikadan fazla sürer. Durmadan devam eden bir döngünün bütün gece çalışmaması için her görev başına ayrı bir duvar saati bütçesi ekleyin.
2. Uzun süren bir ajanda neden akış kullanılır?
Akış (streaming), model çalışırken size bir sinyal verir. Akış olmadan yavaş bir çağrıyla ölü bir bağlantı, zaman aşımı tetiklenene kadar aynı görünür. Akışla parçaların geldiğini görürsünüz ve token kullanımını da son parçada alırsınız.
BroadNet’in akış kuralları: birebir data: [DONE] satırına kadar okuyun. Bağlantı bundan önce kapanırsa yanıt eksiktir. X-Request-ID değerini kaydedin, sonra yeni bir istek yapıp yapmayacağınıza karar verin. Akış rehberinin tamamı.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Bu taslak yalnızca metni topluyor. Araç çağrılarını da akışla alıyorsanız delta.tool_calls değerlerini de indekse göre biriktirin.
3. Neyi yeniden denemelisiniz?
SDK bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını zaten yeniden dener. Kendi yeniden deneme katmanınızı yalnızca SDK’nın göremediği durumlar, örneğin eksik bir akış için ekleyin:
- Yeniden deneyin: bağlantı hataları, 429, 5xx, eksik akışlar. Rastgele sapma (jitter) ve üst sınır içeren üstel geri çekilme kullanın; örneğin 4 deneme.
- Yeniden denemeyin, düzeltin: 400, 401, 402, 403, 413, 422. Bunlar her seferinde aynı şekilde başarısız olur. Bkz. hata kodları ve ne zaman yeniden denenir.
- Yeniden denemeler için yalnızca çağrı başına değil, görev başına bütçe koyun. Her biri dört kez yeniden denenen on adım, kırk ek çağrı demektir.
- Yeniden denemeler tükenince yedeğe geçin. Bir çalıştırmanın sağlayıcı kesintisini atlatması gerekiyorsa bağlantı hatalarını, 5xx yanıtlarını ve hız sınırı 429’larını ikinci bir sağlayıcıya yönlendirin. LLM API yedekleme yazısı istemci kodunu ve bir devre kesiciyi gösteriyor.
Kullandıkça öde modelinde her yeniden deneme yeni bir çıkarımdır ve yeniden faturalanır. Kullandıkça öde anahtarı ayrıca dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir; bu yüzden yeniden deneme fırtınaları hız sınırına çabuk takılır. Ajanınızın ne kadar payı olduğunu hız sınırı hesaplayıcısı gösteriyor. Geri çekilmeyi ayrıntılı olarak 429 yönetimi yazısı anlatıyor. Sınırsız bir planda yeniden denemeler ek ücret getirmez, ama çalıştıkları sürece oturumun tek istek yuvasını işgal eder.
4. Araç çağrılarını nasıl idempotent yaparsınız?
Bir model çağrısının yan etkisi yoktur. Bir araç çağrısının olabilir. Ajan, send_invoice çalıştıktan sonra ama adım kaydedilmeden önce çökerse yeniden başlayan ajan faturayı tekrar gönderir.
Yan etkisi olan her çağrıya görevden ve adımdan türetilmiş bir idempotency anahtarı verin, harekete geçmeden önce kontrol edin ve zaten kaydedilmişse çağrıyı atlayın:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Birçok ödeme ve mesajlaşma API’si bir idempotency anahtarı başlığı kabul eder. Kabul ettiklerinde kendi anahtarınızı onlara iletin.
5. Bir ajan için nasıl kontrol noktası alırsınız?
Tamamlanan her adımdan sonra kaydedin: mesaj listesi, adım numarası ve yan etki anahtarları. Başlangıçta varsa en son kontrol noktasını yükleyin.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Önce geçici bir dosyaya yazıp sonra yeniden adlandırmak, yazma ortasındaki bir çökmenin asla yarım bir kontrol noktası bırakmaması demektir. Çok uzun oturumlarda bir özet de kaydedin: eski turları kısa bir özetle değiştirin ki devam eden ajan devasa bir geçmişi yeniden yüklemesin. Bu, DeepSeek V4.1 Flash üzerindeki 1.048.576 token’lık bağlam penceresinde bile sınır içinde kalmanızı sağlar.
Gece boyu bir çalıştırmadan önce kontrol listesi
- İstemcide zaman aşımı ve
max_retriesaçıkça ayarlanmış. - Akış açık,
include_usageile birlikte; eksik akışlar yeniden deneniyor. - Görev başına bir yeniden deneme bütçesi ve duvar saati limiti.
- Yazan, gönderen veya ödeme yapan her araçta idempotency anahtarları.
- Her adımdan sonra atomik olarak yazılan bir kontrol noktası.
- Adım numarası, süre, token’lar ve
X-Request-IDiçeren günlükler.
Birden çok ajanı yan yana çalıştırıyorsanız sabit ücretle paralel kodlama ajanları çalıştırma ve çoklu ajan kurulumlarının maliyeti yazılarını okuyun.
BroadNet Inference’ın yeri
BroadNet Inference standart chat completions akışını kullanır, günlüğe yazabileceğiniz bir X-Request-ID başlığı döndürür ve hangi hataların yeniden deneneceğini belgeler; yani yukarıdaki kalıplar yazıldığı gibi çalışır. Gün boyu çalışan ajanlar için sınırsız planlar, oturum başına aylık $60 karşılığında DeepSeek V4.1 Flash’taki token sayacını kaldırır; bu da yeniden denemeleri ücretsiz yapar. Şunu unutmayın: bir Meteor saati satın almadan bir saat sonra, bir Orbit haftası yedi gün sonra biter; dolayısıyla uzun bir iş bu süre içinde bitmeli ya da yenilenen bir Full Moon oturumuna taşınmalı. Planlar inference.broadnet.ai/plans adresinde.
