Her ağ çağrısının beklemeyi bıraktığınız bir noktası olmalıdır. LLM çağrılarında bu noktayı seçmek zordur, çünkü yavaş bir yanıt ile ölü bir bağlantı bir süre aynı görünür.
Nasıl çalışır
HTTP istemcileri beklemeyi aşamalara ayırır. Yaygın bir Python HTTP istemcisi olan HTTPX’te dört aşama vardır:
| Zaman aşımı | HTTPX’teki anlamı | Hata |
|---|---|---|
| Connect (bağlantı) | Soket bağlantısı kurmak için en uzun süre | ConnectTimeout |
| Read (okuma) | Gelen bir veri parçası için en uzun bekleme | ReadTimeout |
| Write (yazma) | İstek gövdesinin bir parçasını göndermek için en uzun bekleme | WriteTimeout |
| Pool (havuz) | Havuzdan bağlantı almak için en uzun bekleme | PoolTimeout |
Düz HTTPX, varsayılan olarak beş saniyelik ağ hareketsizliğinden sonra zaman aşımına uğrar. OpenAI Python SDK’sı kendi varsayılanını belirler: “By default requests time out after 10 minutes” (çeviri: varsayılan olarak istekler 10 dakika sonra zaman aşımına uğrar), APITimeoutError fırlatır ve zaman aşımına uğrayan isteği iki kez yeniden dener. Ayrıca bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını da varsayılan olarak yeniden dener.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Sunucuların da zaman aşımları vardır. MDN, 504 Gateway Timeout’u “did not get a response in time from the upstream server” (çeviri: yukarı akıştaki sunucudan zamanında yanıt alamayan) bir ağ geçidi veya proxy olarak, 408 Request Timeout’u ise sunucunun “to shut down this unused connection” (çeviri: bu kullanılmayan bağlantıyı kapatmak) istemesi olarak tanımlar.
Neden önemli
- Akıl yürütme modelleri geç başlar. Düşünme, ilk görünür token’dan önce gerçekleşir. Akış kullanmayan bir çağrıdaki kısa bir okuma zaman aşımı, sağlıklı bir isteği kesebilir.
- Akışlar takılmayı yakalar. Akışta (streaming) her parça okuma sayacını sıfırlar; bu yüzden uzun bir yanıtta bile takılma hızla fark edilir.
- Yeniden denemeler maliyeti ikiye katlayabilir. Zaman aşımı, sunucunun durduğu anlamına gelmez. Hâlâ çalışan bir isteği yeniden denemek iki kez faturalandırılabilir. Üst sınırı olan üstel geri çekilme (exponential backoff) kullanın; API destekliyorsa bir idempotency anahtarı ekleyin.
BroadNet Inference’ta
BroadNet’in API referansı, bir akışın data: [DONE] gelene kadar okunmasını söyler. Bağlantı bundan önce biterse “treat the response as incomplete, record the X-Request-ID” (çeviri: yanıtı eksik kabul edin, X-Request-ID değerini kaydedin) ve uygulamanızın güvenle yeni bir istek yapıp yapamayacağına karar verin. 500, 502, 503 ve 504 için sınırlı üstel geri çekilmeyle yeniden denemeyi söyler; 429 ise bir hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldığı anlamına gelir. Destek için X-Request-ID değerini saklayın. Hatalar ve yeniden denemeler rehberi ve uzun süre çalışan ajanlar yazısı çalışan ayarları gösterir.
Sık yapılan hatalar
- Varsayılanı olduğu gibi bırakıp askıda kalan bir çağrının neden bir işçiyi on dakika boyunca bloke ettiğine şaşırmak.
- Üst sınır olmadan yeniden denemek; böylece kötü geçen bir dakika bir istek selline dönüşür.