BroadRouter
Mulakan

API kelompok (batch API)

Dikemas kini

Batch API ialah endpoint LLM tak segerak yang menerima banyak permintaan sekali gus, biasanya sebagai fail, memprosesnya dalam tempoh yang ditetapkan dan bukan serta-merta, dan memulangkan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic mengenakan harga diskaun untuk permintaan kelompok berbanding API standard mereka.

Juga dikenali sebagai: batch API, API kelompok, pemprosesan kelompok, permintaan kelompok, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Banyak kerja LLM tidak memerlukan jawapan sekarang. Batch API menukar kelajuan jawapan dengan harga lebih rendah dan volum lebih tinggi.

Cara ia berfungsi

Anda menyediakan banyak permintaan, menghantarnya bersama-sama, dan mengambil hasilnya kemudian. Dua versi yang paling baik didokumenkan:

OpenAI Batch API Anthropic Message Batches API
Input Satu fail .jsonl, satu permintaan setiap baris Senarai permintaan Messages
Harga “50% cost discount compared to synchronous APIs” (Terjemahan BroadRouter: “diskaun kos 50% berbanding API segerak”) “50 percent discount on all usage” (Terjemahan BroadRouter: “diskaun 50 peratus untuk semua penggunaan”)
Tempoh siap “Each batch completes within 24 hours (and often more quickly)” (Terjemahan BroadRouter: “Setiap kelompok selesai dalam 24 jam, dan selalunya lebih cepat”) Kebanyakan dalam 1 jam; tamat tempoh jika tidak selesai dalam 24 jam
Had saiz 50,000 permintaan, fail input 200 MB 100,000 permintaan atau 256 MB setiap kelompok
Had kadar Berasingan daripada had setiap model Terpakai pada permintaan kelompok dalam baris gilir juga

Dengan OpenAI, anda memuat naik fail, mencipta kelompok dengan completion_window: "24h", menyemak statusnya dan memuat turun fail output. Kedua-dua API memerlukan custom_id yang unik bagi setiap permintaan, kerana hasil boleh dipulangkan dalam susunan berbeza daripada input. Anthropic menyimpan hasil selama 29 hari, dan diskaun kelompoknya boleh digabungkan dengan diskaun prompt caching.

Mengapa ia penting

Kes yang sesuai ialah penilaian, mengklasifikasikan set data besar, ringkasan pukal dan pengisian data lama (back-filling). Panduan OpenAI menamakan menjalankan penilaian dan mengklasifikasikan set data besar sebagai kegunaan biasa. Kes yang tidak sesuai ialah apa-apa sahaja yang sedang ditunggu oleh pengguna.

Penjimatannya nyata tetapi terhad. Kelompok mengurangkan separuh harga token pada penyedia tersebut; ia tidak mengurangkan bilangan token input dan output yang anda hantar. Memendekkan prompt masih penting.

Kelompok juga mengelakkan masalah had kadar. Daripada anda sendiri menguruskan 429 dan backoff, penyedia yang menjadualkan kerja itu.

Di BroadNet Inference

Dokumentasi BroadNet tidak menyenaraikan batch API, endpoint fail atau diskaun kelompok. Kerja pukal di BroadNet bermakna permintaan segerak yang dijalankan secara selari dalam had kunci anda: 30 permintaan seminit dan 4 serentak pada kunci bayar ikut guna. Kendalikan respons 429 dan 5xx dengan backoff eksponen yang terhad, seperti yang ditunjukkan dalam panduan ralat dan cuba semula.

Untuk kerja panjang pada DeepSeek V4.1 Flash, satu sesi pelan kadar tetap menjalankan satu permintaan pada satu masa tanpa meter token, jadi kos ditentukan oleh masa, bukan volum. Gunakan kalkulator kadar tetap vs setiap token untuk membandingkan kedua-duanya bagi saiz kerja anda, dan perancang kerja kelompok LLM untuk masa larian di bawah had anda dan bilangan sesi yang diperlukan untuk tarikh akhir.

Soalan lazim

Berapakah lebih murah batch API?

OpenAI dan Anthropic kedua-duanya mendokumenkan diskaun 50% berbanding API standard mereka. Diskaun Anthropic terpakai pada token input, output dan token khas.

Berapa lamakah satu kelompok mengambil masa?

OpenAI menyatakan setiap kelompok selesai dalam 24 jam, selalunya lebih cepat. Anthropic menyatakan kebanyakan kelompok selesai dalam 1 jam dan tamat tempoh jika pemprosesan tidak selesai dalam 24 jam.

Adakah BroadNet mempunyai batch API?

Dokumentasi BroadNet tidak menyenaraikannya. Anda boleh menjalankan kerja pukal dengan menghantar permintaan secara selari dalam had kunci anda, atau pada pelan kadar tetap untuk DeepSeek V4.1 Flash.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity