BroadRouter
Başlayın

İstek zaman aşımı (request timeout)

Güncellendi

İstek zaman aşımı (request timeout), bir HTTP istemcisinin isteği bırakmadan önce sunucuyu bekleyeceği en uzun süredir. İstemciler bunu genellikle bağlantıyı açmak için bir bağlantı zaman aşımına ve veri beklemek için bir okuma zaman aşımına ayırır. LLM çağrıları cömert okuma zaman aşımları gerektirir, çünkü uzun yanıtlar zaman alır.

Diğer adları: zaman aşımı, okuma zaman aşımı, bağlantı zaman aşımı, istemci zaman aşımı, timeout, request timeout, read timeout, connect timeout, client timeout, HTTP timeout

Her ağ çağrısının beklemeyi bıraktığınız bir noktası olmalıdır. LLM çağrılarında bu noktayı seçmek zordur, çünkü yavaş bir yanıt ile ölü bir bağlantı bir süre aynı görünür.

Nasıl çalışır

HTTP istemcileri beklemeyi aşamalara ayırır. Yaygın bir Python HTTP istemcisi olan HTTPX’te dört aşama vardır:

Zaman aşımı HTTPX’teki anlamı Hata
Connect (bağlantı) Soket bağlantısı kurmak için en uzun süre ConnectTimeout
Read (okuma) Gelen bir veri parçası için en uzun bekleme ReadTimeout
Write (yazma) İstek gövdesinin bir parçasını göndermek için en uzun bekleme WriteTimeout
Pool (havuz) Havuzdan bağlantı almak için en uzun bekleme PoolTimeout

Düz HTTPX, varsayılan olarak beş saniyelik ağ hareketsizliğinden sonra zaman aşımına uğrar. OpenAI Python SDK’sı kendi varsayılanını belirler: “By default requests time out after 10 minutes” (çeviri: varsayılan olarak istekler 10 dakika sonra zaman aşımına uğrar), APITimeoutError fırlatır ve zaman aşımına uğrayan isteği iki kez yeniden dener. Ayrıca bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını da varsayılan olarak yeniden dener.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Sunucuların da zaman aşımları vardır. MDN, 504 Gateway Timeout’u “did not get a response in time from the upstream server” (çeviri: yukarı akıştaki sunucudan zamanında yanıt alamayan) bir ağ geçidi veya proxy olarak, 408 Request Timeout’u ise sunucunun “to shut down this unused connection” (çeviri: bu kullanılmayan bağlantıyı kapatmak) istemesi olarak tanımlar.

Neden önemli

  • Akıl yürütme modelleri geç başlar. Düşünme, ilk görünür token’dan önce gerçekleşir. Akış kullanmayan bir çağrıdaki kısa bir okuma zaman aşımı, sağlıklı bir isteği kesebilir.
  • Akışlar takılmayı yakalar. Akışta (streaming) her parça okuma sayacını sıfırlar; bu yüzden uzun bir yanıtta bile takılma hızla fark edilir.
  • Yeniden denemeler maliyeti ikiye katlayabilir. Zaman aşımı, sunucunun durduğu anlamına gelmez. Hâlâ çalışan bir isteği yeniden denemek iki kez faturalandırılabilir. Üst sınırı olan üstel geri çekilme (exponential backoff) kullanın; API destekliyorsa bir idempotency anahtarı ekleyin.

BroadNet Inference’ta

BroadNet’in API referansı, bir akışın data: [DONE] gelene kadar okunmasını söyler. Bağlantı bundan önce biterse “treat the response as incomplete, record the X-Request-ID” (çeviri: yanıtı eksik kabul edin, X-Request-ID değerini kaydedin) ve uygulamanızın güvenle yeni bir istek yapıp yapamayacağına karar verin. 500, 502, 503 ve 504 için sınırlı üstel geri çekilmeyle yeniden denemeyi söyler; 429 ise bir hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldığı anlamına gelir. Destek için X-Request-ID değerini saklayın. Hatalar ve yeniden denemeler rehberi ve uzun süre çalışan ajanlar yazısı çalışan ayarları gösterir.

Sık yapılan hatalar

  • Varsayılanı olduğu gibi bırakıp askıda kalan bir çağrının neden bir işçiyi on dakika boyunca bloke ettiğine şaşırmak.
  • Üst sınır olmadan yeniden denemek; böylece kötü geçen bir dakika bir istek selline dönüşür.

Sık sorulan sorular

OpenAI Python SDK'sında varsayılan zaman aşımı nedir?

README'si "By default requests time out after 10 minutes" (çeviri: varsayılan olarak istekler 10 dakika sonra zaman aşımına uğrar) der; zaman aşımına uğrayan istekler varsayılan olarak kısa bir üstel geri çekilmeyle iki kez yeniden denenir.

Her LLM çağrısı için tek bir zaman aşımı mı kullanmalıyım?

Hayır. Kısa bir sınıflandırma çağrısı ile uzun bir akıl yürütme yanıtı farklı sınırlar gerektirir. Akışta (streaming), parçalar arasındaki boşluğa uygulanan bir okuma zaman aşımı, takılmaları tek bir uzun toplam sınırdan daha iyi yakalar.

BroadNet akışı erken durursa ne yapmalıyım?

BroadNet, data: [DONE] gelmeden biten bir akışı eksik kabul etmenizi, X-Request-ID değerini kaydetmenizi ve uygulamanızın güvenle yeni bir istek yapıp yapamayacağına karar vermenizi söyler.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor