BroadRouter
Mulakan

Kod ralat BroadNet Inference dan bila perlu cuba semula

Dikemas kini

Semak status HTTP sebelum menghurai badan respons. Cuba semula 429 dan 5xx dengan backoff eksponen yang terhad. Baiki 400, 403, 413 dan 422 sebelum mencuba semula. Untuk 401, semak kunci dan baki; untuk 402, tambah dana ke akaun. Sentiasa log pengepala X-Request-ID untuk sokongan.

API memulangkan status HTTP biasa dan kod ralat yang boleh dibaca mesin. Pilih langkah seterusnya berdasarkan status. Jadual ini mengikut rujukan API BroadNet.

Status Maksud Tindakan
400 / 422 Permintaan atau medan tidak sah Baiki permintaan dahulu
401 Kunci tiada, tidak sah atau tamat tempoh, bajet bayar ikut guna disekat, atau elaun telah habis Semak status kunci dan baki akaun
402 insufficient_balance Akaun tidak dapat menampung pembelian; badan respons termasuk baki dan harga Tambah dana ke akaun, kemudian cuba lagi
403 Ditolak oleh dasar model, laluan atau IP Baiki ketidakpadanan itu, contohnya senarai IP dibenarkan
409 Bercanggah dengan keadaan akaun: mint_in_progress, key_limit_reached, credential_limit_reached, key_pending Cuba semula mint_in_progress sahaja, dengan request_id yang sama
413 Permintaan terlalu besar; fail transkripsi dihadkan kepada 26,214,400 bait Kecilkan permintaan
429 Had kadar, keserentakan, kadar token atau perbelanjaan dicapai Baca butiran respons, tunggu dan cuba semula
500 / 502 / 503 / 504 Pemprosesan di pihak pelayan Cuba semula dengan backoff eksponen yang terhad; guna semula request_id yang sama untuk pembelian kunci sejam

Dokumentasi BroadNet menyatakan supaya anda menyemak status HTTP sebelum menghurai badan JSON, kemudian membaca kod error yang boleh dibaca mesin jika ada.

Apakah had yang menyebabkan 429?

Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 permintaan serentak. Menurut dokumentasi BroadNet, kunci sejam mendapat 120 permintaan seminit, satu strim dan 300,000 token seminit. Pada pelan tanpa had, setiap sesi menjalankan satu permintaan pada satu masa. Untuk melihat perbandingan had ini dengan OpenAI, Anthropic, Groq dan DeepSeek, baca had kadar API LLM mengikut penyedia.

Bagaimanakah cara mencuba semula dengan OpenAI SDK?

Menurut README di GitHub, OpenAI Python SDK sudah pun mencuba semula ralat sambungan serta respons 408, 409, 429 dan 5xx sebanyak dua kali secara lalai, dengan backoff eksponen yang singkat. Tamat masa lalainya ialah 10 minit. Tetapkan kedua-duanya secara eksplisit. Dalam kod di bawah, nilai 0 untuk max_retries mematikan cuba semula automatik, dan timeout dalam saat; naikkan nilainya untuk jawapan penaakulan yang panjang:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_retries=4,   # 0 turns automatic retries off
    timeout=120,     # seconds; raise it for long reasoning answers
)

Bagaimanakah saya menulis backoff sendiri?

Jika anda memanggil API tanpa SDK, hadkan bilangan percubaan dan juga tempoh menunggu. Dalam fungsi di bawah, respons dipulangkan serta-merta jika statusnya bukan untuk dicuba semula, kerana itu sama ada kejayaan atau ralat yang perlu dibaiki, bukan dicuba semula:

import random, time, requests

RETRY = {429, 500, 502, 503, 504}

def post_with_backoff(url, headers, body, tries=5):
    for attempt in range(tries):
        r = requests.post(url, headers=headers, json=body, timeout=120)
        if r.status_code not in RETRY:
            return r                      # success, or an error to fix rather than retry
        time.sleep(min(30, 2 ** attempt) + random.random())
    return r

Jangan sekali-kali mencuba semula 400, 403, 413 atau 422 tanpa perubahan: permintaan yang sama akan gagal dengan cara yang sama. Setiap cuba semula permintaan chat ialah inferens baharu dan dibilkan sekali lagi pada bayar ikut guna. Lihat exponential backoff untuk corak umumnya.

Mencuba semula pembelian kunci sejam dengan selamat

POST /portal/keys/hourly menerima request_id. Selepas tamat masa, sambungan terputus, 409 mint_in_progress atau 5xx, cuba semula dengan request_id yang sama. request_id yang diguna semula tidak sekali-kali mencipta atau mengenakan caj untuk kunci kedua; ulangan itu memulangkan already_issued: true dan alias. Jangan jana id baharu sehingga anda tahu keputusan yang pertama. Maklumat lanjut tentang idempotency key.

Penyelesaian masalah

  • 401 sejurus selepas tambah nilai. Halaman akaun BroadNet memaparkan elaun terkini yang direkodkan dan menandakan perubahan dana sebagai sedang dikemas kini semasa ia diproses. Muat semula halaman dan cuba lagi setelah selesai.
  • 429 walaupun hanya beberapa permintaan seminit. Anda mungkin mencapai had keserentakan 4 permintaan, contohnya dengan strim panjang yang berjalan selari. Gunakan kumpulan pekerja (worker pool) yang kecil.
  • 403 pada satu model tetapi tidak pada model lain. Dasar kunci itu tidak meliputi model atau laluan tersebut. Contohnya, kunci pelan adalah untuk broadnet/deepseek-v4.1-flash, dan kunci sejam hanya meliputi broadnet/gemma-4-26b-a4b.
  • SDK mencuba semula dan anda dibilkan dua kali. Permintaan chat yang dicuba semula ialah inferens baharu. Tetapkan max_retries=0 di tempat jawapan berganda lebih mahal daripada permintaan yang gagal.

Apa yang perlu dihantar kepada sokongan

Sertakan nilai pengepala X-Request-ID, cap masa UTC, laluan, status HTTP dan alias kunci anda. Jangan sekali-kali menghantar kunci itu sendiri. Panduan OpenAI Python SDK menunjukkan cara membaca pengepala tersebut.

Soalan lazim

Patutkah saya mencuba semula ralat 429 daripada API LLM?

Ya, dengan backoff eksponen yang terhad. Di BroadNet Inference, 429 bermaksud had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai. Kurangkan paralelisme jika ia berulang, dan berhenti mencuba semula apabila had perbelanjaan ialah puncanya.

Mengapakah saya mendapat 401 walaupun kunci saya betul?

Di BroadNet, 401 juga meliputi elaun bayar ikut guna yang telah habis atau bajet yang disekat, bukan hanya kunci yang salah atau tamat tempoh. Semak baki akaun dan status kunci di halaman akaun.

Apakah perbezaan antara 401 dan 403 di sini?

401 berkaitan kunci atau elaun akaun. 403 bermaksud kunci berfungsi tetapi permintaan ditolak oleh dasar model, laluan atau IP, contohnya panggilan daripada alamat yang tiada dalam senarai dibenarkan.

Adakah OpenAI SDK mencuba semula ralat secara automatik?

Ya. Secara lalai, OpenAI Python SDK mencuba semula ralat sambungan, 408, 409, 429 dan 5xx sebanyak dua kali dengan backoff eksponen yang singkat. Tetapkan max_retries untuk mengubah bilangannya, atau 0 untuk mematikan cuba semula.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity