BroadRouter
Mulai

Kode error BroadNet Inference dan kapan harus mencoba ulang

Diperbarui

Periksa status HTTP sebelum mem-parse body. Coba ulang 429 dan 5xx dengan exponential backoff yang dibatasi. Perbaiki 400, 403, 413, dan 422 sebelum mencoba ulang. Untuk 401, periksa kunci dan saldo; untuk 402, isi saldo akun. Selalu catat header X-Request-ID untuk tim dukungan.

API mengembalikan status HTTP biasa dan kode error yang dapat dibaca mesin. Tentukan langkah berikutnya dari status tersebut. Tabel ini mengikuti referensi API BroadNet.

Status Artinya Yang harus dilakukan
400 / 422 Permintaan atau field tidak valid Perbaiki permintaannya dulu
401 Kunci tidak ada, tidak valid, atau kedaluwarsa, anggaran bayar sesuai pemakaian diblokir, atau jatah habis Periksa status kunci dan saldo akun
402 insufficient_balance Akun tidak dapat menutup pembelian; body berisi saldo dan harga Isi saldo akun, lalu coba lagi
403 Ditolak oleh kebijakan model, rute, atau IP Perbaiki ketidakcocokannya, misalnya daftar IP yang diizinkan
409 Konflik dengan status akun: mint_in_progress, key_limit_reached, credential_limit_reached, key_pending Coba ulang hanya mint_in_progress, dengan request_id yang sama
413 Permintaan terlalu besar; file transkripsi dibatasi 26.214.400 byte Perkecil permintaannya
429 Batas laju, konkurensi, laju token, atau pengeluaran tercapai Baca detail respons, tunggu, lalu coba ulang
500 / 502 / 503 / 504 Pemrosesan di sisi server Coba ulang dengan exponential backoff yang dibatasi; pakai ulang request_id yang sama untuk pembelian kunci per jam

Dokumentasi BroadNet meminta Anda memeriksa status HTTP sebelum mem-parse body JSON, lalu membaca kode error yang dapat dibaca mesin jika ada.

Batas apa saja yang memicu 429?

Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Menurut dokumentasi BroadNet, kunci per jam mendapat 120 permintaan per menit, satu stream, dan 300,000 token per menit. Di paket unlimited, setiap sesi menjalankan satu permintaan dalam satu waktu. Untuk membandingkan batas ini dengan OpenAI, Anthropic, Groq, dan DeepSeek, baca rate limit API LLM per penyedia.

Bagaimana mencoba ulang dengan OpenAI SDK?

Menurut README-nya di GitHub, OpenAI Python SDK sudah mencoba ulang error koneksi serta respons 408, 409, 429, dan 5xx sebanyak dua kali secara default, dengan exponential backoff singkat. Timeout default-nya 10 menit. Atur keduanya secara eksplisit (komentar di kode: max_retries=0 mematikan percobaan ulang otomatis; timeout dalam detik dan sebaiknya dinaikkan untuk jawaban penalaran yang panjang):

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_retries=4,   # 0 turns automatic retries off
    timeout=120,     # seconds; raise it for long reasoning answers
)

Bagaimana menulis backoff sendiri?

Jika Anda memanggil API tanpa SDK, batasi jumlah percobaan dan lama menunggu. Fungsi di bawah langsung mengembalikan respons jika statusnya tidak termasuk yang dicoba ulang: itu berarti sukses, atau error yang harus diperbaiki alih-alih dicoba ulang.

import random, time, requests

RETRY = {429, 500, 502, 503, 504}

def post_with_backoff(url, headers, body, tries=5):
    for attempt in range(tries):
        r = requests.post(url, headers=headers, json=body, timeout=120)
        if r.status_code not in RETRY:
            return r                      # success, or an error to fix rather than retry
        time.sleep(min(30, 2 ** attempt) + random.random())
    return r

Jangan pernah mencoba ulang 400, 403, 413, atau 422 tanpa perubahan: permintaan yang sama akan gagal dengan cara yang sama. Setiap percobaan ulang permintaan chat adalah inferensi baru dan ditagih lagi pada skema bayar sesuai pemakaian. Lihat exponential backoff untuk pola umumnya.

Mencoba ulang pembelian kunci per jam dengan aman

POST /portal/keys/hourly menerima request_id. Setelah timeout, koneksi terputus, 409 mint_in_progress, atau 5xx, coba ulang dengan request_id yang sama. request_id yang dipakai ulang tidak akan pernah membuat atau menagih kunci kedua; pengulangannya mengembalikan already_issued: true beserta alias kuncinya. Jangan membuat id baru sebelum Anda tahu hasil yang pertama. Selengkapnya tentang idempotency key.

Pemecahan masalah

  • 401 tepat setelah top up. Halaman akun BroadNet menampilkan jatah terakhir yang tercatat dan menandai perubahan dana sebagai sedang diperbarui selama diproses. Muat ulang halaman dan coba lagi setelah selesai.
  • 429 padahal hanya beberapa permintaan per menit. Kemungkinan Anda terkena batas konkurensi 4 permintaan, misalnya karena stream panjang yang berjalan paralel. Gunakan worker pool yang kecil.
  • 403 di satu model tetapi tidak di model lain. Kebijakan kunci tidak mencakup model atau rute itu. Misalnya, kunci paket untuk broadnet/deepseek-v4.1-flash, dan kunci per jam hanya mencakup broadnet/gemma-4-26b-a4b.
  • SDK mencoba ulang dan Anda ditagih dua kali. Permintaan chat yang dicoba ulang adalah inferensi baru. Atur max_retries=0 jika jawaban ganda lebih mahal daripada jawaban yang gagal.

Apa yang dikirim ke tim dukungan

Sertakan nilai header X-Request-ID, timestamp UTC, rute, status HTTP, dan alias kunci Anda. Jangan pernah mengirim kuncinya. Panduan OpenAI Python SDK menunjukkan cara membaca header tersebut.

Pertanyaan umum

Apakah error 429 dari API LLM perlu dicoba ulang?

Ya, dengan exponential backoff yang dibatasi. Di BroadNet Inference, 429 berarti batas laju, konkurensi, laju token, atau batas pengeluaran tercapai. Kurangi paralelisme jika terus terjadi, dan hentikan percobaan ulang jika penyebabnya batas pengeluaran.

Kenapa saya mendapat 401 padahal kunci saya benar?

Di BroadNet, 401 juga mencakup jatah bayar sesuai pemakaian yang habis atau anggaran yang diblokir, bukan hanya kunci yang salah atau kedaluwarsa. Periksa saldo akun dan status kunci di halaman akun.

Apa bedanya 401 dan 403 di sini?

401 berkaitan dengan kunci atau jatah akun. 403 berarti kuncinya berfungsi tetapi permintaan ditolak oleh kebijakan model, rute, atau IP, misalnya panggilan dari alamat yang tidak ada di daftar IP yang diizinkan.

Apakah OpenAI SDK mencoba ulang error secara otomatis?

Ya. Secara default OpenAI Python SDK mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali dengan exponential backoff singkat. Atur max_retries untuk mengubah jumlahnya, atau 0 untuk mematikannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity