Birçok LLM işinin yanıtı hemen gerekmez. Batch API, yanıt hızından vazgeçip daha düşük fiyat ve daha yüksek hacim sunar.
Nasıl çalışır
Çok sayıda istek hazırlar, birlikte gönderir ve sonuçları sonra toplarsınız. En iyi belgelenmiş iki sürüm:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Girdi | Satır başına bir istek içeren bir .jsonl dosyası |
Messages isteklerinden oluşan bir liste |
| Fiyat | “50% cost discount compared to synchronous APIs” (çeviri: senkron API’lere göre %50 maliyet indirimi) | “50 percent discount on all usage” (çeviri: tüm kullanımda yüzde 50 indirim) |
| Tamamlanma süresi | “Each batch completes within 24 hours (and often more quickly)” (çeviri: her batch 24 saat içinde, çoğu zaman daha hızlı tamamlanır) | Çoğu 1 saat içinde; 24 saat içinde bitmezse süresi dolar |
| Boyut sınırı | 50.000 istek, 200 MB girdi dosyası | Batch başına 100.000 istek veya 256 MB |
| Hız sınırları | Model başına sınırlardan ayrı | Kuyruktaki batch isteklerine de uygulanır |
OpenAI’da dosyayı yükler, completion_window: "24h" ile bir batch oluşturur, durumunu sorgular ve çıktı dosyasını indirirsiniz. Sonuçlar girdiden farklı bir sırada dönebildiği için iki API de istek başına benzersiz bir custom_id ister. Anthropic sonuçları 29 gün saklar ve batch indirimi ile istem önbelleğe alma (prompt caching) indirimi üst üste binebilir.
Neden önemli
Uygun kullanımlar değerlendirmeler, büyük bir veri setini sınıflandırma, toplu özetler ve geriye dönük veri doldurmadır. OpenAI’ın rehberi değerlendirme çalıştırmayı ve büyük veri setlerini sınıflandırmayı tipik kullanımlar olarak sayar. Kullanıcının beklediği her iş ise uygun değildir.
Tasarruf gerçektir ama sınırlıdır. Batch, bu sağlayıcılarda token fiyatını yarıya indirir; gönderdiğiniz girdi ve çıktı token sayısını azaltmaz. İstemleri kısaltmak hâlâ önemlidir.
Batch, hız sınırı (rate limit) sorununu da atlatır. 429’ları ve geri çekilmeyi kendiniz yönetmek yerine işi sağlayıcı zamanlar.
BroadNet Inference’ta
BroadNet’in belgeleri bir batch API, dosya uç noktası veya batch indirimi listelemez. BroadNet’te toplu iş, anahtarınızın sınırları içinde paralel çalışan senkron istekler demektir: kullandıkça öde anahtarında dakikada 30 istek ve aynı anda 4 istek. Hatalar ve yeniden denemeler rehberinin gösterdiği gibi 429 ve 5xx yanıtlarını sınırlı üstel geri çekilmeyle (exponential backoff) ele alın.
DeepSeek V4.1 Flash üzerindeki uzun işler için sabit plan oturumu, token sayacı olmadan her seferinde bir istek çalıştırır; böylece maliyet hacme göre değil süreye göre sabitlenir. İş boyutunuz için ikisini karşılaştırmak üzere sabit fiyat ve token başına hesaplayıcıyı, sınırlarınız altındaki çalışma süresi ve bir son tarihin gerektirdiği oturumlar için de LLM toplu iş planlayıcısını kullanın.