BroadRouter

Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Ralat 429 bermaksud anda mencapai had kadar, keserentakan atau perbelanjaan. Cuba semula dengan backoff eksponen yang dihadkan dan jitter rawak, dan patuhi Retry-After jika dihantar. Kemudian cegah kebanyakan 429: hadkan permintaan yang sedang berjalan dengan semaphore pada had kunci dan letakkan selebihnya dalam baris gilir. Cuba semula 5xx dengan cara yang sama; betulkan ralat 4xx yang lain.

Ralat 429 bermaksud trafik anda telah melepasi had kadar: permintaan seminit, permintaan serentak, token seminit atau perbelanjaan. Betulkannya dalam dua bahagian. Cuba semula dengan betul: backoff eksponen yang dihadkan dengan jitter rawak, mematuhi Retry-After. Hantar lebih sedikit serentak: semaphore pada had permintaan serentak kunci, ditambah baris gilir. Kedua-duanya ada di bawah, dengan kod.

Untuk rujukan kod status yang lengkap, lihat panduan ralat dan cuba semula; untuk larian ejen berjam-jam dengan checkpoint dan tamat masa, lihat ejen jangka panjang: tamat masa dan cuba semula.

Apakah perbezaan antara 429 dan 5xx?

Status Masalah siapa Cuba semula? Caranya
429 Trafik anda melepasi had Ya Backoff dengan jitter; patuhi Retry-After; kurangkan keserentakan
500 / 502 / 503 / 504 Sebelah pelayan Ya Backoff eksponen yang terhad
Sambungan diset semula, tamat masa Rangkaian atau pelayan Biasanya Backoff; untuk strim, hanya jika bil baharu boleh diterima
400 / 422 Permintaan salah Tidak Betulkan payload
401 / 402 / 403 Kunci, baki atau dasar Tidak Betulkan kunci, isi dana akaun, betulkan senarai benar
413 Permintaan terlalu besar Tidak Kecilkannya

Di BroadNet Inference, 429 boleh bermaksud mana-mana daripada empat had: kadar, keserentakan, kadar token atau perbelanjaan. Had perbelanjaan tidak akan pulih dalam 30 saat. Dokumentasi BroadNet tidak menyatakan medan mana dalam badan ralat yang menamakan had itu, jadi log badan ralat dan bandingkan dengan had yang ditunjukkan dalam butiran kunci anda.

Set data terbuka kami tentang peringkat percuma dan had kadar API LLM membandingkan apa yang diterbitkan oleh 14 penyedia tentang akses percuma, had kadar permulaan, keperluan kad dan latihan pada data peringkat percuma, dengan sumber dan tarikh bagi setiap nilai.

Had apakah yang menyebabkan 429?

Ketahui angka yang anda hadapi. Di BroadNet Inference:

Jenis kunci Permintaan / minit Serentak Lain-lain
Bayar ikut guna 30 4 Bajet perbelanjaan dikongsi
Kunci sejam 120 1 strim 300,000 token / minit
Sesi pelan tanpa had — 1 permintaan setiap sesi Tiada meter token

Angka permintaan serentak paling penting untuk LLM. Jawapan berstrim memegang slotnya sehingga token terakhir tiba, jadi jawapan yang panjang menahan slot itu selama mana model mengambil masa untuk menulisnya (BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat). Hantar lebih banyak panggilan selari daripada 4 slot kunci itu dan panggilan tambahan akan mendapat 429, walaupun anda hanya menghantar beberapa permintaan dalam minit itu. Itu masalah keserentakan, dan backoff sahaja tidak menanganinya dengan baik. Untuk menentukan bilangan pekerja berbanding had sebelum pelancaran, gunakan kalkulator had kadar LLM percuma. Untuk kerja tetap dengan banyak item, perancang kerja batch LLM menukar had yang sama kepada masa larian. Penyedia lain mengira secara berbeza (token seminit, permintaan sehari atau permintaan serentak); had kadar API LLM mengikut penyedia membandingkan 13 daripadanya berdasarkan dokumentasi mereka sendiri.

Bagaimanakah menulis backoff dengan jitter?

Backoff eksponen biasa menunggu 1, 2, 4, 8 saat. Jika seratus pekerja didikit pada saat yang sama, semuanya kembali pada saat yang sama. Simulasi AWS dengan 100 klien yang bersaing mendapati full jitter mengurangkan bilangan panggilan lebih daripada separuh dan selesai lebih awal berbanding backoff tanpa jitter. Versi paling mudah, full jitter, menunggu masa rawak antara sifar dan had eksponen:

import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)

max_retries=0 mematikan cuba semula SDK sendiri supaya anda tidak mencuba semula dua kali. Jika anda berpuas hati dengan tingkah laku terbina dalam SDK, sebaliknya juga berfungsi: tinggalkan gelung anda dan tetapkan max_retries=4 pada klien, seperti yang ditunjukkan dalam panduan SDK Python. SDK rasmi Python dan Node mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai.

Retry-After ialah pengepala standard (RFC 9110) yang mungkin mengandungi bilangan saat atau tarikh. Dokumentasi BroadNet tidak menjanjikannya, jadi kod menganggapnya pilihan.

Bagaimanakah mencegah 429 sebelum ia berlaku?

Hadkan permintaan serentak pada had kunci. Dalam Python, asyncio.Semaphore melakukannya dengan satu objek dan satu blok async with. Kod ini menggunakan 4 sebagai contoh; tetapkannya kepada had permintaan serentak kunci anda (4 pada kunci bayar ikut guna BroadNet):

import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))

gather memulakan setiap tugasan, tetapi hanya sebanyak yang dibenarkan oleh semaphore berjalan serentak. Selebihnya menunggu dalam baris gilir semaphore. Dalam Node, pakej p-limit melakukan perkara yang sama, sekali lagi dengan 4 sebagai nilai contoh:

// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));

Jika ada juga had seminit, tambah token bucket yang melepaskan satu permit setiap 60 / rpm saat, dengan rpm ialah had permintaan seminit kunci anda (30 pada kunci bayar ikut guna BroadNet).

Bilakah anda memerlukan baris gilir sebenar?

Semaphore hidup dalam satu proses. Apabila beberapa pekerja atau pelayan berkongsi satu kunci, hadnya dikongsi dan setiap proses hanya melihat trafiknya sendiri. Kemudian:

  1. Letakkan kerja dalam baris gilir dikongsi (Redis, SQS, jadual pangkalan data).
  2. Jalankan bilangan pengguna baris gilir yang tetap, sama dengan had permintaan serentak kunci.
  3. Beri setiap kerja ID dan simpan hasil mengikut ID, supaya kerja yang dicuba semula tidak berjalan dua kali.
  4. Hantar trafik interaktif dan trafik batch melalui kunci berasingan atau baris gilir berasingan, supaya tunggakan batch tidak pernah menyekat pengguna yang menunggu jawapan.

Untuk kerja pukal beribu-ribu item tanpa Batch API, lihat pelari batch yang boleh disambung semula.

Kesilapan cuba semula manakah yang menukar 429 menjadi gangguan perkhidmatan?

  • Cuba semula tanpa had. Gelung cuba semula tanpa had semasa gangguan panjang menggandakan beban anda dan, pada pengebilan setiap token, bil anda.
  • Mencuba semula strim yang separuh siap secara membuta tuli. Jika strim sudah memulangkan token, cuba semula ialah inferens baharu dan pengguna mungkin melihat teks dua kali. Lihat artikel penstriman untuk mengesan strim yang tidak lengkap.
  • Mencuba semula ralat akaun. Ralat 401 kerana elaun bayar ikut guna sudah habis atau 402 kerana baki tidak mencukupi tidak akan pulih sendiri.

Log setiap cuba semula dengan status, masa menunggu dan pengepala respons X-Request-ID, yang diminta oleh dokumentasi BroadNet untuk disimpan bagi tujuan sokongan. Kadar cuba semula yang meningkat ialah amaran paling awal bahawa anda memerlukan lebih kapasiti; pengelogan penggunaan menunjukkan cara merekodkannya.

Di manakah BroadNet Inference sesuai

Had BroadNet diterbitkan dan cukup kecil untuk direka bentuk mengikutnya: 4 permintaan serentak pada kunci bayar ikut guna. Itu sesuai untuk aplikasi dan ejen, tetapi terlalu ketat untuk kerja pukal yang mahukan ratusan panggilan selari pada satu kunci. Untuk ejen, pelan tanpa had tiada meter token dan menjalankan satu permintaan pada satu masa bagi setiap sesi; anda menambah sesi untuk kerja selari, seperti yang diterangkan dalam menjalankan ejen pengekodan selari. Had semasa ada dalam rujukan API.

Soalan lazim

Apakah maksud HTTP 429 pada API LLM?

Too Many Requests. Anda telah melepasi had permintaan seminit, permintaan serentak, token seminit atau perbelanjaan. Permintaan itu tidak diproses, jadi ia selamat dihantar semula selepas menunggu.

Berapa lama saya patut menunggu sebelum mencuba semula 429?

Gunakan Retry-After jika pelayan menghantarnya. Jika tidak, mulakan sekitar satu saat, gandakan pada setiap cubaan, hadkan sekitar 30 hingga 60 saat, dan pilih masa menunggu rawak antara sifar dan had itu. Berhenti selepas empat hingga enam cubaan.

Patutkah saya mencuba semula ralat 500 dan 503 daripada API LLM?

Ya, dengan backoff terhad yang sama. Ralat ini di sebelah pelayan. Ralat 400, 401, 403 atau 422 akan gagal dengan cara yang sama setiap kali, jadi betulkannya.

Adakah SDK OpenAI mencuba semula 429 secara automatik?

Ya. SDK rasmi Python dan Node mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai dengan backoff eksponen yang singkat. Naikkan max_retries untuk kerja batch dan tambah had keserentakan anda sendiri.

Mengapakah saya mendapat 429 sedangkan saya di bawah had permintaan seminit?

Biasanya kerana had keserentakan. Respons penstriman yang panjang kekal berjalan selama beberapa saat, jadi beberapa panggilan selari boleh mencapai had permintaan serentak walaupun kiraan seminit kelihatan rendah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity