BroadRouter
Mulai

Request timeout (batas waktu permintaan)

Diperbarui

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

Disebut juga: timeout, batas waktu permintaan, read timeout, connect timeout, client timeout, HTTP timeout, request timeout

Setiap panggilan jaringan butuh titik di mana Anda berhenti menunggu. Untuk panggilan LLM titik itu sulit ditentukan, karena jawaban yang lambat dan koneksi yang mati terlihat sama untuk sementara waktu.

Cara kerjanya

Client HTTP membagi waktu tunggu menjadi beberapa fase. HTTPX, client HTTP Python yang umum, punya empat:

Timeout Arti di HTTPX Error
Connect Waktu terlama untuk membuat koneksi socket ConnectTimeout
Read Waktu tunggu terlama untuk satu potongan data masuk ReadTimeout
Write Waktu tunggu terlama untuk mengirim satu potongan body permintaan WriteTimeout
Pool Waktu tunggu terlama untuk mendapat koneksi dari pool PoolTimeout

HTTPX biasa akan timeout setelah lima detik tanpa aktivitas jaringan secara default. OpenAI Python SDK menetapkan default-nya sendiri: “By default requests time out after 10 minutes” (terjemahan: secara default permintaan timeout setelah 10 menit), memunculkan APITimeoutError, dan mencoba ulang permintaan yang timeout dua kali. SDK ini juga mencoba ulang error koneksi, respons 408, 409, 429, dan 5xx secara default.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Server juga punya timeout. MDN mendefinisikan 504 Gateway Timeout sebagai gateway atau proxy yang “did not get a response in time from the upstream server” (terjemahan: tidak mendapat respons tepat waktu dari server upstream), dan 408 Request Timeout sebagai server yang ingin “to shut down this unused connection” (terjemahan: menutup koneksi yang tidak terpakai ini).

Kenapa ini penting

  • Model penalaran lambat memulai. Proses berpikir terjadi sebelum token pertama yang terlihat. Read timeout yang pendek pada panggilan tanpa streaming bisa memotong permintaan yang sebenarnya sehat.
  • Stream mendeteksi macet. Dengan streaming, setiap chunk me-reset timer baca, jadi macet cepat terdeteksi bahkan pada jawaban panjang.
  • Percobaan ulang bisa menggandakan biaya. Timeout tidak berarti server berhenti. Mencoba ulang permintaan yang masih berjalan bisa ditagih dua kali. Gunakan exponential backoff dengan batas, dan idempotency key jika API mendukungnya.

Di BroadNet Inference

Referensi API BroadNet meminta Anda membaca stream sampai data: [DONE]. Jika koneksi berakhir sebelum itu, “treat the response as incomplete, record the X-Request-ID” (terjemahan: anggap respons tidak lengkap, catat X-Request-ID), lalu putuskan apakah aplikasi Anda aman mengirim permintaan baru. Untuk 500, 502, 503, dan 504, referensinya meminta percobaan ulang dengan exponential backoff yang dibatasi; 429 berarti batas laju, konkurensi, laju token, atau batas pengeluaran telah tercapai. Simpan X-Request-ID untuk dukungan. Panduan error dan percobaan ulang dan artikel agen yang berjalan lama menunjukkan pengaturan yang berfungsi.

Kesalahan umum

  • Membiarkan default lalu heran kenapa panggilan yang menggantung memblokir worker selama sepuluh menit.
  • Mencoba ulang tanpa batas, sehingga satu menit yang buruk berubah menjadi banjir permintaan.

Pertanyaan umum

Berapa timeout default di OpenAI Python SDK?

README-nya menyebutkan "By default requests time out after 10 minutes" (terjemahan: secara default permintaan timeout setelah 10 menit), dan permintaan yang timeout dicoba ulang dua kali secara default dengan exponential backoff singkat.

Apakah saya harus memakai satu timeout untuk semua panggilan LLM?

Tidak. Panggilan klasifikasi singkat dan jawaban penalaran panjang butuh batas yang berbeda. Dengan streaming, read timeout pada jeda antar chunk lebih baik menangkap macet daripada satu batas total yang panjang.

Apa yang harus saya lakukan saat stream BroadNet berhenti lebih awal?

BroadNet meminta Anda menganggap stream yang berakhir sebelum data: [DONE] sebagai tidak lengkap, mencatat X-Request-ID, dan memutuskan apakah aplikasi Anda aman mengirim permintaan baru.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity