Banyak kerja LLM tidak memerlukan jawapan sekarang. Batch API menukar kelajuan jawapan dengan harga lebih rendah dan volum lebih tinggi.
Cara ia berfungsi
Anda menyediakan banyak permintaan, menghantarnya bersama-sama, dan mengambil hasilnya kemudian. Dua versi yang paling baik didokumenkan:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Input | Satu fail .jsonl, satu permintaan setiap baris |
Senarai permintaan Messages |
| Harga | “50% cost discount compared to synchronous APIs” (Terjemahan BroadRouter: “diskaun kos 50% berbanding API segerak”) | “50 percent discount on all usage” (Terjemahan BroadRouter: “diskaun 50 peratus untuk semua penggunaan”) |
| Tempoh siap | “Each batch completes within 24 hours (and often more quickly)” (Terjemahan BroadRouter: “Setiap kelompok selesai dalam 24 jam, dan selalunya lebih cepat”) | Kebanyakan dalam 1 jam; tamat tempoh jika tidak selesai dalam 24 jam |
| Had saiz | 50,000 permintaan, fail input 200 MB | 100,000 permintaan atau 256 MB setiap kelompok |
| Had kadar | Berasingan daripada had setiap model | Terpakai pada permintaan kelompok dalam baris gilir juga |
Dengan OpenAI, anda memuat naik fail, mencipta kelompok dengan completion_window: "24h", menyemak statusnya dan memuat turun fail output. Kedua-dua API memerlukan custom_id yang unik bagi setiap permintaan, kerana hasil boleh dipulangkan dalam susunan berbeza daripada input. Anthropic menyimpan hasil selama 29 hari, dan diskaun kelompoknya boleh digabungkan dengan diskaun prompt caching.
Mengapa ia penting
Kes yang sesuai ialah penilaian, mengklasifikasikan set data besar, ringkasan pukal dan pengisian data lama (back-filling). Panduan OpenAI menamakan menjalankan penilaian dan mengklasifikasikan set data besar sebagai kegunaan biasa. Kes yang tidak sesuai ialah apa-apa sahaja yang sedang ditunggu oleh pengguna.
Penjimatannya nyata tetapi terhad. Kelompok mengurangkan separuh harga token pada penyedia tersebut; ia tidak mengurangkan bilangan token input dan output yang anda hantar. Memendekkan prompt masih penting.
Kelompok juga mengelakkan masalah had kadar. Daripada anda sendiri menguruskan 429 dan backoff, penyedia yang menjadualkan kerja itu.
Di BroadNet Inference
Dokumentasi BroadNet tidak menyenaraikan batch API, endpoint fail atau diskaun kelompok. Kerja pukal di BroadNet bermakna permintaan segerak yang dijalankan secara selari dalam had kunci anda: 30 permintaan seminit dan 4 serentak pada kunci bayar ikut guna. Kendalikan respons 429 dan 5xx dengan backoff eksponen yang terhad, seperti yang ditunjukkan dalam panduan ralat dan cuba semula.
Untuk kerja panjang pada DeepSeek V4.1 Flash, satu sesi pelan kadar tetap menjalankan satu permintaan pada satu masa tanpa meter token, jadi kos ditentukan oleh masa, bukan volum. Gunakan kalkulator kadar tetap vs setiap token untuk membandingkan kedua-duanya bagi saiz kerja anda, dan perancang kerja kelompok LLM untuk masa larian di bawah had anda dan bilangan sesi yang diperlukan untuk tarikh akhir.