Setiap panggilan rangkaian memerlukan titik di mana anda berhenti menunggu. Bagi panggilan LLM, titik itu sukar dipilih, kerana jawapan yang lambat dan sambungan yang mati kelihatan sama untuk seketika.
Cara ia berfungsi
Klien HTTP membahagikan penantian kepada beberapa fasa. HTTPX, klien HTTP Python yang biasa digunakan, ada empat:
| Timeout | Maksud dalam HTTPX | Ralat |
|---|---|---|
| Connect | Masa paling lama untuk mewujudkan sambungan soket | ConnectTimeout |
| Read | Penantian paling lama untuk satu cebisan data masuk | ReadTimeout |
| Write | Penantian paling lama untuk menghantar satu cebisan badan permintaan | WriteTimeout |
| Pool | Penantian paling lama untuk mendapatkan sambungan daripada kumpulan | PoolTimeout |
HTTPX biasa tamat masa selepas lima saat tanpa aktiviti rangkaian secara lalai. OpenAI Python SDK menetapkan lalainya sendiri: “By default requests time out after 10 minutes” (Terjemahan BroadRouter: “secara lalai permintaan tamat masa selepas 10 minit”), menimbulkan APITimeoutError, dan mencuba semula permintaan yang tamat masa dua kali. Ia juga mencuba semula ralat sambungan serta respons 408, 409, 429 dan 5xx secara lalai.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Pelayan juga ada tamat masa. MDN mentakrifkan 504 Gateway Timeout sebagai get laluan atau proksi yang “did not get a response in time from the upstream server” (Terjemahan BroadRouter: “tidak menerima respons tepat pada masanya daripada pelayan huluan”), dan 408 Request Timeout sebagai pelayan yang mahu “to shut down this unused connection” (Terjemahan BroadRouter: “menutup sambungan yang tidak digunakan ini”).
Mengapa ia penting
- Model penaakulan lambat bermula. Pemikiran berlaku sebelum token pertama yang kelihatan. Read timeout yang pendek pada panggilan tanpa strim boleh memotong permintaan yang sihat.
- Strim mengesan sangkutan. Dengan penstriman, setiap cebisan menetapkan semula pemasa bacaan, jadi sangkutan cepat dikesan walaupun pada jawapan panjang.
- Cuba semula boleh menggandakan kos. Tamat masa tidak bermaksud pelayan sudah berhenti. Mencuba semula permintaan yang masih berjalan mungkin dibilkan dua kali. Gunakan backoff eksponen dengan had, dan kunci idempotensi jika API menyokongnya.
Di BroadNet Inference
Rujukan API BroadNet menyatakan untuk membaca strim sehingga data: [DONE]. Jika sambungan tamat sebelum itu, “treat the response as incomplete, record the X-Request-ID” (Terjemahan BroadRouter: “anggap respons tidak lengkap, rekodkan X-Request-ID”), dan tentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat. Untuk 500, 502, 503 dan 504, ia menyarankan cuba semula dengan backoff eksponen yang terhad; 429 bermaksud had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai. Simpan X-Request-ID untuk sokongan. Panduan ralat dan cuba semula dan artikel ejen yang berjalan lama menunjukkan tetapan yang berfungsi.
Kesilapan biasa
- Membiarkan nilai lalai dan tertanya-tanya mengapa panggilan yang tergantung menyekat pekerja selama sepuluh minit.
- Mencuba semula tanpa had, sehingga satu minit yang buruk menjadi banjir permintaan.