BroadRouter
Mulakan

Tamat masa permintaan (request timeout)

Dikemas kini

Tamat masa permintaan (request timeout) ialah tempoh paling lama klien HTTP menunggu pelayan sebelum meninggalkan permintaan. Klien biasanya membahagikannya kepada connect timeout untuk membuka sambungan dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar kerana jawapan panjang mengambil masa.

Juga dikenali sebagai: tamat masa, timeout API LLM, read timeout, connect timeout, client timeout, HTTP timeout, request timeout

Setiap panggilan rangkaian memerlukan titik di mana anda berhenti menunggu. Bagi panggilan LLM, titik itu sukar dipilih, kerana jawapan yang lambat dan sambungan yang mati kelihatan sama untuk seketika.

Cara ia berfungsi

Klien HTTP membahagikan penantian kepada beberapa fasa. HTTPX, klien HTTP Python yang biasa digunakan, ada empat:

Timeout Maksud dalam HTTPX Ralat
Connect Masa paling lama untuk mewujudkan sambungan soket ConnectTimeout
Read Penantian paling lama untuk satu cebisan data masuk ReadTimeout
Write Penantian paling lama untuk menghantar satu cebisan badan permintaan WriteTimeout
Pool Penantian paling lama untuk mendapatkan sambungan daripada kumpulan PoolTimeout

HTTPX biasa tamat masa selepas lima saat tanpa aktiviti rangkaian secara lalai. OpenAI Python SDK menetapkan lalainya sendiri: “By default requests time out after 10 minutes” (Terjemahan BroadRouter: “secara lalai permintaan tamat masa selepas 10 minit”), menimbulkan APITimeoutError, dan mencuba semula permintaan yang tamat masa dua kali. Ia juga mencuba semula ralat sambungan serta respons 408, 409, 429 dan 5xx secara lalai.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Pelayan juga ada tamat masa. MDN mentakrifkan 504 Gateway Timeout sebagai get laluan atau proksi yang “did not get a response in time from the upstream server” (Terjemahan BroadRouter: “tidak menerima respons tepat pada masanya daripada pelayan huluan”), dan 408 Request Timeout sebagai pelayan yang mahu “to shut down this unused connection” (Terjemahan BroadRouter: “menutup sambungan yang tidak digunakan ini”).

Mengapa ia penting

  • Model penaakulan lambat bermula. Pemikiran berlaku sebelum token pertama yang kelihatan. Read timeout yang pendek pada panggilan tanpa strim boleh memotong permintaan yang sihat.
  • Strim mengesan sangkutan. Dengan penstriman, setiap cebisan menetapkan semula pemasa bacaan, jadi sangkutan cepat dikesan walaupun pada jawapan panjang.
  • Cuba semula boleh menggandakan kos. Tamat masa tidak bermaksud pelayan sudah berhenti. Mencuba semula permintaan yang masih berjalan mungkin dibilkan dua kali. Gunakan backoff eksponen dengan had, dan kunci idempotensi jika API menyokongnya.

Di BroadNet Inference

Rujukan API BroadNet menyatakan untuk membaca strim sehingga data: [DONE]. Jika sambungan tamat sebelum itu, “treat the response as incomplete, record the X-Request-ID” (Terjemahan BroadRouter: “anggap respons tidak lengkap, rekodkan X-Request-ID”), dan tentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat. Untuk 500, 502, 503 dan 504, ia menyarankan cuba semula dengan backoff eksponen yang terhad; 429 bermaksud had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai. Simpan X-Request-ID untuk sokongan. Panduan ralat dan cuba semula dan artikel ejen yang berjalan lama menunjukkan tetapan yang berfungsi.

Kesilapan biasa

  • Membiarkan nilai lalai dan tertanya-tanya mengapa panggilan yang tergantung menyekat pekerja selama sepuluh minit.
  • Mencuba semula tanpa had, sehingga satu minit yang buruk menjadi banjir permintaan.

Soalan lazim

Berapakah tamat masa lalai dalam OpenAI Python SDK?

README-nya menyatakan "By default requests time out after 10 minutes" (secara lalai permintaan tamat masa selepas 10 minit), dan permintaan yang tamat masa dicuba semula dua kali secara lalai dengan backoff eksponen yang singkat.

Patutkah saya menggunakan satu tamat masa untuk setiap panggilan LLM?

Tidak. Panggilan pengelasan yang ringkas dan jawapan penaakulan yang panjang memerlukan had berbeza. Dengan penstriman, read timeout pada jarak antara cebisan lebih baik mengesan strim yang tersangkut berbanding satu had keseluruhan yang panjang.

Apakah yang patut saya lakukan apabila strim BroadNet berhenti awal?

BroadNet menyatakan strim yang tamat sebelum data: [DONE] perlu dianggap tidak lengkap, X-Request-ID perlu direkodkan, dan anda perlu menentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity