Setiap panggilan jaringan butuh titik di mana Anda berhenti menunggu. Untuk panggilan LLM titik itu sulit ditentukan, karena jawaban yang lambat dan koneksi yang mati terlihat sama untuk sementara waktu.
Cara kerjanya
Client HTTP membagi waktu tunggu menjadi beberapa fase. HTTPX, client HTTP Python yang umum, punya empat:
| Timeout | Arti di HTTPX | Error |
|---|---|---|
| Connect | Waktu terlama untuk membuat koneksi socket | ConnectTimeout |
| Read | Waktu tunggu terlama untuk satu potongan data masuk | ReadTimeout |
| Write | Waktu tunggu terlama untuk mengirim satu potongan body permintaan | WriteTimeout |
| Pool | Waktu tunggu terlama untuk mendapat koneksi dari pool | PoolTimeout |
HTTPX biasa akan timeout setelah lima detik tanpa aktivitas jaringan secara default. OpenAI Python SDK menetapkan default-nya sendiri: “By default requests time out after 10 minutes” (terjemahan: secara default permintaan timeout setelah 10 menit), memunculkan APITimeoutError, dan mencoba ulang permintaan yang timeout dua kali. SDK ini juga mencoba ulang error koneksi, respons 408, 409, 429, dan 5xx secara default.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Server juga punya timeout. MDN mendefinisikan 504 Gateway Timeout sebagai gateway atau proxy yang “did not get a response in time from the upstream server” (terjemahan: tidak mendapat respons tepat waktu dari server upstream), dan 408 Request Timeout sebagai server yang ingin “to shut down this unused connection” (terjemahan: menutup koneksi yang tidak terpakai ini).
Kenapa ini penting
- Model penalaran lambat memulai. Proses berpikir terjadi sebelum token pertama yang terlihat. Read timeout yang pendek pada panggilan tanpa streaming bisa memotong permintaan yang sebenarnya sehat.
- Stream mendeteksi macet. Dengan streaming, setiap chunk me-reset timer baca, jadi macet cepat terdeteksi bahkan pada jawaban panjang.
- Percobaan ulang bisa menggandakan biaya. Timeout tidak berarti server berhenti. Mencoba ulang permintaan yang masih berjalan bisa ditagih dua kali. Gunakan exponential backoff dengan batas, dan idempotency key jika API mendukungnya.
Di BroadNet Inference
Referensi API BroadNet meminta Anda membaca stream sampai data: [DONE]. Jika koneksi berakhir sebelum itu, “treat the response as incomplete, record the X-Request-ID” (terjemahan: anggap respons tidak lengkap, catat X-Request-ID), lalu putuskan apakah aplikasi Anda aman mengirim permintaan baru. Untuk 500, 502, 503, dan 504, referensinya meminta percobaan ulang dengan exponential backoff yang dibatasi; 429 berarti batas laju, konkurensi, laju token, atau batas pengeluaran telah tercapai. Simpan X-Request-ID untuk dukungan. Panduan error dan percobaan ulang dan artikel agen yang berjalan lama menunjukkan pengaturan yang berfungsi.
Kesalahan umum
- Membiarkan default lalu heran kenapa panggilan yang menggantung memblokir worker selama sepuluh menit.
- Mencoba ulang tanpa batas, sehingga satu menit yang buruk berubah menjadi banjir permintaan.