BroadRouter
Başlayın

Batch API (toplu işlem API'si)

Güncellendi

Batch API, çok sayıda isteği genellikle bir dosya olarak tek seferde kabul eden, bunları hemen değil belirli bir süre içinde işleyen ve sonuçları birlikte döndüren asenkron bir LLM uç noktasıdır. OpenAI ve Anthropic gibi sağlayıcılar batch isteklerini standart API'lerine göre indirimli fiyatlandırır.

Diğer adları: batch API, toplu işlem API, toplu istek, asenkron toplu işlem, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Birçok LLM işinin yanıtı hemen gerekmez. Batch API, yanıt hızından vazgeçip daha düşük fiyat ve daha yüksek hacim sunar.

Nasıl çalışır

Çok sayıda istek hazırlar, birlikte gönderir ve sonuçları sonra toplarsınız. En iyi belgelenmiş iki sürüm:

OpenAI Batch API Anthropic Message Batches API
Girdi Satır başına bir istek içeren bir .jsonl dosyası Messages isteklerinden oluşan bir liste
Fiyat “50% cost discount compared to synchronous APIs” (çeviri: senkron API’lere göre %50 maliyet indirimi) “50 percent discount on all usage” (çeviri: tüm kullanımda yüzde 50 indirim)
Tamamlanma süresi “Each batch completes within 24 hours (and often more quickly)” (çeviri: her batch 24 saat içinde, çoğu zaman daha hızlı tamamlanır) Çoğu 1 saat içinde; 24 saat içinde bitmezse süresi dolar
Boyut sınırı 50.000 istek, 200 MB girdi dosyası Batch başına 100.000 istek veya 256 MB
Hız sınırları Model başına sınırlardan ayrı Kuyruktaki batch isteklerine de uygulanır

OpenAI’da dosyayı yükler, completion_window: "24h" ile bir batch oluşturur, durumunu sorgular ve çıktı dosyasını indirirsiniz. Sonuçlar girdiden farklı bir sırada dönebildiği için iki API de istek başına benzersiz bir custom_id ister. Anthropic sonuçları 29 gün saklar ve batch indirimi ile istem önbelleğe alma (prompt caching) indirimi üst üste binebilir.

Neden önemli

Uygun kullanımlar değerlendirmeler, büyük bir veri setini sınıflandırma, toplu özetler ve geriye dönük veri doldurmadır. OpenAI’ın rehberi değerlendirme çalıştırmayı ve büyük veri setlerini sınıflandırmayı tipik kullanımlar olarak sayar. Kullanıcının beklediği her iş ise uygun değildir.

Tasarruf gerçektir ama sınırlıdır. Batch, bu sağlayıcılarda token fiyatını yarıya indirir; gönderdiğiniz girdi ve çıktı token sayısını azaltmaz. İstemleri kısaltmak hâlâ önemlidir.

Batch, hız sınırı (rate limit) sorununu da atlatır. 429’ları ve geri çekilmeyi kendiniz yönetmek yerine işi sağlayıcı zamanlar.

BroadNet Inference’ta

BroadNet’in belgeleri bir batch API, dosya uç noktası veya batch indirimi listelemez. BroadNet’te toplu iş, anahtarınızın sınırları içinde paralel çalışan senkron istekler demektir: kullandıkça öde anahtarında dakikada 30 istek ve aynı anda 4 istek. Hatalar ve yeniden denemeler rehberinin gösterdiği gibi 429 ve 5xx yanıtlarını sınırlı üstel geri çekilmeyle (exponential backoff) ele alın.

DeepSeek V4.1 Flash üzerindeki uzun işler için sabit plan oturumu, token sayacı olmadan her seferinde bir istek çalıştırır; böylece maliyet hacme göre değil süreye göre sabitlenir. İş boyutunuz için ikisini karşılaştırmak üzere sabit fiyat ve token başına hesaplayıcıyı, sınırlarınız altındaki çalışma süresi ve bir son tarihin gerektirdiği oturumlar için de LLM toplu iş planlayıcısını kullanın.

Sık sorulan sorular

Batch API ne kadar daha ucuz?

OpenAI ve Anthropic, standart API'lerine kıyasla %50 indirim belgeler. Anthropic'in indirimi girdi, çıktı ve özel token'lara uygulanır.

Bir batch ne kadar sürer?

OpenAI her batch'in 24 saat içinde, çoğu zaman daha erken tamamlandığını belirtir. Anthropic, çoğu batch'in 1 saat içinde bittiğini ve işlem 24 saat içinde tamamlanmazsa süresinin dolduğunu söyler.

BroadNet'in batch API'si var mı?

BroadNet'in belgeleri bir batch API listelemez. Toplu işleri anahtarınızın sınırları içinde paralel istekler göndererek ya da DeepSeek V4.1 Flash için sabit bir planla çalıştırabilirsiniz.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor