BroadRouter
Magsimula

Request timeout

Na-update

Ang request timeout ay ang pinakamatagal na hihintayin ng isang HTTP client sa server bago nito iwanan ang request. Karaniwang hinahati ito ng mga client sa connect timeout para sa pagbukas ng connection at read timeout para sa paghihintay ng data. Kailangan ng maluwag na read timeout ang mga LLM call dahil matagal mabuo ang mahahabang sagot.

Tinatawag ding: timeout sa LLM API, nag-time out ang request, read timeout, connect timeout, client timeout, HTTP timeout

Bawat network call ay nangangailangan ng puntong titigil ka na sa paghihintay. Sa mga LLM call, mahirap piliin ang puntong iyon, dahil magkamukha nang ilang sandali ang mabagal na sagot at ang patay na connection.

Paano ito gumagana

Hinahati ng mga HTTP client ang paghihintay sa mga yugto. Apat ang yugto sa HTTPX, isang karaniwang Python HTTP client:

Timeout Kahulugan sa HTTPX Error
Connect Pinakamatagal na oras para makabuo ng socket connection ConnectTimeout
Read Pinakamatagal na paghihintay sa isang chunk ng papasok na data ReadTimeout
Write Pinakamatagal na paghihintay para maipadala ang isang chunk ng request body WriteTimeout
Pool Pinakamatagal na paghihintay sa connection mula sa pool PoolTimeout

Bilang default, nagta-time out ang plain HTTPX pagkatapos ng limang segundong walang aktibidad sa network. Sariling default naman ang itinatakda ng OpenAI Python SDK: “By default requests time out after 10 minutes” (Salin ng BroadRouter: “bilang default, nagta-time out ang mga request pagkatapos ng 10 minuto”), nagbabato ng APITimeoutError, at dalawang beses nire-retry ang nag-time out na request. Bilang default, nire-retry din nito ang mga connection error, 408, 409, 429 at 5xx na response.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

May timeout din ang mga server. Dine-define ng MDN ang 504 Gateway Timeout bilang gateway o proxy na “did not get a response in time from the upstream server” (Salin ng BroadRouter: “hindi nakatanggap ng response sa tamang oras mula sa upstream server”), at ang 408 Request Timeout bilang server na gustong “to shut down this unused connection” (Salin ng BroadRouter: “isara ang hindi ginagamit na connection na ito”).

Bakit ito mahalaga

  • Mabagal magsimula ang mga reasoning model. Nangyayari ang pag-iisip bago ang unang nakikitang token. Kayang putulin ng maikling read timeout sa hindi naka-stream na call ang isang malusog na request.
  • Nahuhuli ng stream ang pagkakabitin. Sa streaming, nire-reset ng bawat chunk ang read timer, kaya mabilis lumalabas ang pagkakabitin kahit sa mahabang sagot.
  • Puwedeng dumoble ang gastos sa retry. Hindi ibig sabihin ng timeout na huminto na ang server. Kapag ni-retry ang request na tumatakbo pa, puwedeng dalawang beses kang masingil. Gumamit ng exponential backoff na may cap, at ng idempotency key kung sinusuportahan ito ng API.

Sa BroadNet Inference

Sinasabi ng API reference ng BroadNet na basahin ang stream hanggang data: [DONE]. Kung natapos ang connection bago iyon, “treat the response as incomplete, record the X-Request-ID” (Salin ng BroadRouter: “ituring na hindi kumpleto ang response, i-record ang X-Request-ID”), at pagpasyahan kung ligtas para sa application mo na gumawa ng bagong request. Para sa 500, 502, 503 at 504, sinasabi nitong mag-retry gamit ang bounded exponential backoff; ang 429 naman ay nangangahulugang naabot ang rate, concurrency, token-rate o spending limit. Itago ang X-Request-ID para sa support. Ipinapakita ng gabay sa errors at retries at ng post tungkol sa long-running na agent ang mga setting na gumagana.

Mga karaniwang pagkakamali

  • Pag-iwan sa default at pagtataka kung bakit nakabara ang isang worker nang sampung minuto dahil sa nakabiting call.
  • Pag-retry nang walang cap, kaya nagiging baha ng request ang isang masamang minuto.

Mga tanong

Ano ang default na timeout sa OpenAI Python SDK?

Sinasabi ng README nito na "By default requests time out after 10 minutes" (bilang default, nagta-time out ang mga request pagkatapos ng 10 minuto), at dalawang beses nire-retry bilang default ang mga nag-time out na request, na may maikling exponential backoff.

Dapat ba akong gumamit ng iisang timeout sa bawat LLM call?

Hindi. Magkaiba ang limit na kailangan ng maikling classification call at ng mahabang reasoning na sagot. Sa streaming, mas nahuhuli ang pagkakabitin ng read timeout sa pagitan ng mga chunk kaysa sa iisang mahabang kabuuang limit.

Ano ang gagawin ko kapag maagang huminto ang stream sa BroadNet?

Ayon sa BroadNet, ituring na hindi kumpleto ang stream na natapos bago ang data: [DONE], i-record ang X-Request-ID, at pagpasyahan kung ligtas para sa application mo na gumawa ng bagong request.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity