BroadRouter
Başlayın

Batch API olmadan LLM toplu işleme: kaldığı yerden devam eden betik

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı · Güncellendi

Batch API yoksa işi kendiniz çalıştırın: öğeleri bir JSONL dosyasından okuyun, aynı anda açık istek sayısını anahtarın limitinde tutun, istek başlangıçlarını dakika başına limitin altında yayın, 429 ve 5xx hatalarını sınırlı geri çekilmeyle yeniden deneyin ve her sonucu kimliğiyle dosyaya ekleyin. Yeniden başlatınca biten kimlikleri atlayın. Bitiş süresini genellikle model değil, hız limiti belirler.

Bazı LLM işleri sohbet değildir. Etiketlenecek 50.000 destek kaydınız, çevrilecek 200.000 ürün açıklamanız ya da puanlanacak bir milyon yorumunuz vardır. OpenAI ve Anthropic gibi sağlayıcılar bunun için bir Batch API satıyor. BroadNet Inference dahil pek çok OpenAI uyumlu API’de ise böyle bir şey yok. Bu yazı işi kendiniz nasıl çalıştıracağınızı gösteriyor: ne kadar süreceğini hesaplayın, limitlere uyan bir çalıştırıcı yazın ve durdurup yeniden başlatmayı güvenli hâle getirin.

BroadRouter, BroadNet’in kendi sitesidir; bu yüzden örnek rakamlar BroadNet’in yayımladığı limitleri kullanıyor. Yöntem herhangi bir chat completions API’sinde çalışır; kendi sağlayıcınızın rakamlarını koyun.

BroadNet Inference’ın Batch API’si var mı?

Hayır. 15 Kasım 2026’da kontrol edilen API başvurusu, POST /v1/chat/completions, POST /v1/audio/transcriptions ve GET /v1/models (model listesi) uç noktalarını, ayrıca /portal/ altındaki hesap uç noktalarını belgeliyor. Toplu iş veya dosya yükleme uç noktası yok, toplu iş indirimi de yok. Toplu bir iş, normal isteklerden oluşan bir döngüdür.

Barındırılan bir Batch API’nin size ne verdiğine bakalım; böylece neyi yeniden kurduğunuzu bilirsiniz:

OpenAI Batch API Anthropic Message Batches Kendi çalıştırıcınız
Fiyat Eş zamanlı isteklere göre %50 indirimli %50 indirimli Normal fiyat
Teslim süresi 24 saat içinde Çoğu 1 saat içinde; 24 saat sonra süresi dolar Hız limitlerinize bağlı
Toplu iş başına boyut 50.000 istek veya 200 MB 100.000 istek veya 256 MB Herhangi bir boyut
Hız limitleri Model başına limitlerden ayrı Kuyruktaki isteklere uygulanır Anahtarınızın limitleri
Sonuç sırası Farklı olabilir; custom_id ile eşleştirin custom_id ile eşleştirin Sonuçları kimliğe göre siz anahtarlarsınız

İki ders buraya da taşınır. İki sağlayıcı da her isteği bir kimlikle etiketlemenizi ister, çünkü sonuçlar sırayla gelmez. İkisi de saniyeler içinde yanıt vaat etmez. Çalıştırıcınız da aynı şekilde çalışmalı: her şeyde kimlik ve saatlerle ölçülen bir plan.

%50 indirim teslim süresinden daha önemliyse ve ihtiyacınız olan modeller oradaysa, barındırılan bir Batch API daha ucuz araç olabilir. Kurmaya başlamadan önce ikisini LLM API maliyet hesaplayıcısıyla fiyatlayın.

İş ne kadar sürecek?

Bunu kod yazmadan önce hesaplayın. İşlem hacmini iki limit sınırlar ve yavaş olan kazanır:

  • Eş zamanlı istek limiti ÷ gecikme. Aynı anda 4 istek ve istek başına 2 saniyeyle saniyede 2 istek bitirebilirsiniz.
  • Dakika başına istek. Dakikada 30 istekle, model ne kadar hızlı olursa olsun saniyede 0,5 istek başlatabilirsiniz.

Bir BroadNet kullandıkça öde anahtarı aynı anda 4 isteğe ve dakikada 30 isteğe izin verir. Kontrol ettiğimizde API referansındaki değerlerle (dakikada 30 ve aynı anda 4, 2026-11-15), her istek 8 saniyeden uzun sürmedikçe bağlayıcı olan hız limitidir; aşağıdaki tablo dakikada 30 isteği kullanır:

Öğe İstek başına tek öğe İstek başına 20 öğe
10.000 5,6 saat 17 dakika
100.000 2,3 gün 2,8 saat
1.000.000 23 gün 28 saat

Dakikada 30 istekle bir anahtar saatte 1.800, günde 43.200 istek yapar. Yeniden denemeler de sayılır: tetiklediğiniz her 429 bir yuva harcar.

İkinci sütun en büyük kaldıraçtır. Yorumlar veya destek kaydı konuları gibi kısa öğeler, numaralı bir liste olarak istek başına 10 ila 50 tane gönderilip bir JSON dizisi olarak geri alınabilir. Dizide her girdi için bir öğe olduğunu ve her birinin numarasını taşıdığını kontrol edin. Arapça metin sınıflandırma yazısı bu kalıbı gösteriyor. Uzun öğeler paketlenmez: her istek yine de modelin bağlam penceresine sığmalıdır ve liste uzadıkça kalite düşebilir. Paketlemeye güvenmeden önce onu 200 öğede test edin.

Anahtar başına bir limiti aşmak için tek bir işi sormadan birkaç anahtara yaymayın. BroadNet’in Kabul Edilebilir Kullanım Politikası hız, eş zamanlılık veya bütçe limitlerinin aşılmaya çalışılmasını yasaklıyor. Daha fazlasına ihtiyacınız varsa BroadNet’e sorun ya da aşağıda anlatılan plan oturumlarını kullanın. Toplu iş planlayıcısı bu hesabı sizin öğe sayınız, gecikmeniz ve limitleriniz için yapar.

Kaldığı yerden devam eden bir çalıştırıcı neye benzer?

Bu çalıştırıcı items.jsonl dosyasını (her satırda bir {"id", "text"} nesnesi) okur ve her öğe için results.jsonl dosyasına bir sonuç satırı ekler. Yalnızca OpenAI Python SDK’ya ihtiyaç duyar.

import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))

python batch_run.py items.jsonl results.jsonl ile çalıştırın. Bu dosyanın aynısını, rastgele 429 (%8) ve 500 (%5) döndüren, aynı anda 4’ten fazla isteği veya dakikada 30’dan fazla başlangıcı reddeden yerel bir sahte sunucuya karşı test ettik. 25 öğe 28 istekle (3 yeniden deneme) 55 saniyede bitti ve hiçbir 60 saniyelik pencerede 30’dan fazla başlangıç olmadı. Zaman kazanmak için sahte sunucunun limiti dakikada 300’e çıkarıldığında, 10 saniye sonra durdurulan 120 öğelik bir çalıştırma kaydedilmiş 39 sonuçtan devam etti ve yinelenen kayıt olmadan 120 benzersiz kimlikle tamamlandı.

Neden asyncio.gather değil de işçi havuzu?

429 rehberi asyncio.gather etrafında bir semaphore kullanıyor. Birkaç yüz çağrı için bu yeterli. Büyük bir işte bir kuyruktan iş çeken sabit bir işçi havuzu daha iyidir:

  • Bellek. gather baştan her öğe için bir görev oluşturur. Havuz yalnızca o an açık olan öğeleri tutar.
  • Eş zamanlılık havuz boyutudur. Dört işçinin asla beş açık isteği olamaz.
  • Sonuçlar bittikçe diske akar, hangi sırayla biterlerse, kimliğe göre anahtarlanmış olarak.

İkinci limiti Pacer karşılar. Tek başına bir semaphore aynı anda 4 isteği aşmanızı engeller, ama istekler bir saniye sürüyorsa dört işçi dakikada 240 istek başlatır ve çoğunda 429 alır. Pacer, yeniden denemeler dahil, tüm işçiler genelinde başlangıçları 2 saniye arayla yayar.

Yeniden denemeler nasıl güvenli kalır?

Yalnızca ikinci denemede başarılı olabilecek şeyleri yeniden deneyin:

Yanıt Eylem
429 Geri çekilin ve yeniden deneyin; BroadNet’in belgeleri “use response details and bounded backoff” diyor (BroadRouter çevirisi: yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanın)
500, 502, 503, 504, zaman aşımları, kopan bağlantılar Sınırlı üstel geri çekilmeyle yeniden deneyin
400, 422 İsteği düzeltin; yeniden denemek aynı hatayı gönderir
401, 402, 403 İşi durdurun; anahtar, bakiye veya politika ilgi bekliyor
413 Öğeyi kısaltın

Çalıştırıcı, tek bir yeniden deneme politikası ve görünür bir üst sınır olsun diye SDK’nın kendi yeniden denemelerini kapatır (max_retries=0). Geri çekilme tam jitter’lı (rastgele sapmalı) ve üsteldir, 60 saniyeyle sınırlıdır; böylece birlikte başarısız olan işçiler birlikte yeniden denemez. Altı denemeden sonra öğe "ok": false olarak yazılır ve iş devam eder. Tek bir kötü öğe asla bir milyonu durdurmaz.

Bir model çağrısının yan etkisi yoktur, dolayısıyla burada teslimat “en az bir kez” esaslıdır: süreç bir istek ortasında ölürse o öğe yeniden başlatmada tekrar gönderilir ve iki kez ödersiniz. Tek israf budur. İş ayrıca destek kayıtları veya e-postalar gibi başka bir sisteme yazıyorsa, bu yazmayı öğe kimliğine göre idempotent yapın ve results.jsonl üzerinden ayrı bir geçişte gerçekleştirin. Uzun süren ajanlar yazısı idempotent yan etkileri ayrıntılı anlatıyor.

Kontrol noktası nasıl çalışır?

Çıktı dosyası kontrol noktasıdır. Biten her öğe diske boşaltılmış tek bir satırdır; bir çökme, bir dağıtım veya Ctrl-C’den sonra bir sonraki çalıştırma dosyayı okur, "ok": true olan kimlikleri toplar ve yalnızca geri kalanları kuyruğa alır. Daha önce başarısız olan öğeler bir sonraki çalıştırmada yeniden denenir ve yeni satırları dosyanın sonuna eklenir. Sonuçları okurken her kimlik için son satırı alın.

Bunu günlerce ayakta tutan üç alışkanlık:

  1. Kararlı kimlikler. Bir veritabanı anahtarı ya da girdinin hash’ini kullanın; girdi dosyası değişince kayan bir satır numarasını asla.
  2. finish_reason değerini kontrol edin. max_tokens sınırında kesilmiş bir yanıt "ok": true olur ama işe yaramaz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme max_tokens sınırına sayılır. Çalıştırıcı, BroadNet’in belgelediği reasoning_effort="low" ayarını kullanır ve 1.500 token bırakır.
  3. Kullanımı her satırda kaydedin. results.jsonl içindeki usage değerlerini toplamak, tahmininizle karşılaştıracağınız gerçek token faturasını verir.

Maliyeti ne: kullandıkça öde mi, plan oturumu mu?

Kullandıkça öde modelinde maliyet token’dır. 100.000 yorum, 150 token’lık bir sistem istemi, 150 token’lık bir yorum ve düşük akıl yürütmeyle 100 çıktı token’ı alalım. Bu 30 milyon girdi ve 10 milyon çıktı token’ı eder. DeepSeek V4.1 Flash üzerinde maliyet 30 × $0.175 + 10 × $0.52 olur. Sistem istemini başta ve bayt bayt aynı tutarsanız, önbelleğin isabet ettiği yerlerde onun 15 milyon token’ı 1M başına $0.0055 olan önbellekli girdi fiyatından faturalanabilir. Bunun ne sıklıkla olduğunu usage satırlarınız gösterir.

Bir planda token’lar ücretsizdir, maliyet süredir. Bir DeepSeek V4.1 Flash plan oturumu “runs one request at a time” (BroadRouter çevirisi: aynı anda tek istek çalıştırır), bu yüzden oturum başına IN_FLIGHT=1 ayarlayın. Oturum başına işlem hacmi günde 86.400 ÷ öğe başına saniyedir. BroadNet tipik hızı saniyede yaklaşık 100 token olarak veriyor, ama gecikmeniz istem uzunluğuna ve akıl yürütmeye bağlıdır; bu yüzden 50 öğede ölçün. Öğe başına 3 saniye ölçerseniz bir oturum günde 28.800 öğe işler:

İş Oturum Öğe başına 3 sn ile süre Plan
100.000 öğe 1 Yaklaşık 3,5 gün Bir Orbit haftası, oturum başına $15
100.000 öğe 4 Yaklaşık 21 saat Oturum başına birer tane olmak üzere dört Orbit haftası ya da oturum başına her biri $1 olan yaklaşık 21 Meteor saati
1.000.000 öğe 6 Yaklaşık 6 gün Altı Orbit haftası

Planlar “best effort under fair use” (BroadRouter çevirisi: adil kullanım kapsamında en iyi çaba esasıyla) sunulur ve BroadNet plan anahtarları için dakika başına bir istek limiti yayımlamaz; geçerli limitleri hesabınız gösterir. RPM değerini tahmine göre değil, bunlara göre ayarlayın. Oturum planlayıcı rehberi oturumların anahtarlara nasıl bölüneceğini açıklıyor.

BroadNet Inference bu tabloda nerede duruyor?

BroadNet Inference’ın Batch API’si yok; bu yüzden çalıştırıcıyı kendiniz kontrol edip normal token başına fiyatları ödemeyi ya da maliyeti DeepSeek V4.1 Flash plan oturumlarıyla sabitlemeyi tercih ettiğinizde toplu işlere uygundur. Bütçeli küçük işler için 1M başına $0.10 girdi ve $0.22 çıktı fiyatıyla Gemma 4 VL 26B, $5 başlangıç kredisiyle çalışır. İstemler ve çıktılar her istekten sonra saklanmaz. İşiniz bir gün bekleyebiliyorsa ve ihtiyacınız olan modeller %50 toplu iş indirimi sunan bir sağlayıcıdaysa, orası daha ucuza gelebilir; karar vermeden önce karşılaştırın. Planlar ve limitler inference.broadnet.ai/plans adresinde.

Sık sorulan sorular

BroadNet Inference'ın Batch API'si var mı?

Hayır. 15 Kasım 2026'da kontrol edilen API başvurusu POST /v1/chat/completions, POST /v1/audio/transcriptions ve GET /v1/models uç noktalarını belgeliyor; toplu iş veya dosya yükleme uç noktası ve toplu iş indirimi yok. Toplu işleri anahtarınızın limitleri içinde sıradan istekler olarak çalıştırın.

100.000 istemi bir LLM API ile nasıl işlerim?

Öğeleri her birinin bir kimliği olan bir JSONL dosyasına koyun. Anahtarın eş zamanlı istek limitine eşit sayıda sabit işçi çalıştırın, istek başlangıçlarını dakika başına limitin altında yayın, 429 ve 5xx hatalarını sınırlı geri çekilmeyle yeniden deneyin ve iş kaldığı yerden devam edebilsin diye her sonucu kimliğiyle bir çıktı dosyasına ekleyin.

Bir milyon isteklik bir toplu iş ne kadar sürer?

Öğe sayısını gerçek hızınıza bölün. Dakikada 30 istek ve istek başına tek öğeyle bir anahtar günde 43.200 öğe işler; bir milyon yaklaşık 23 gün sürer. Model uzun istemi iyi işliyorsa istek başına 20 kısa öğe paketlemek bunu yaklaşık 28 saate indirir.

Toplu LLM çağrıları için asyncio.gather mı, işçi havuzu mu kullanmalıyım?

On binlerce öğe için bir kuyruktan iş çeken sabit bir işçi havuzu kullanın. Semaphore ile gather küçük işlerde çalışır, ama her görevi baştan oluşturur ve kaldığı yerden devam etmeyi ve ilerleme takibini zorlaştırır.

Daha hızlı gitmek için birden çok API anahtarı kullanabilir miyim?

Önce sorun. BroadNet'in Kabul Edilebilir Kullanım Politikası hız veya eş zamanlılık limitlerinin aşılmaya çalışılmasını yasaklıyor; anahtar başına limiti geçmek için tek bir işi anahtarlara bölmeden önce BroadNet'e danışın. İstek başına daha çok öğe paketlemek ve plan oturumları, işlem hacmini artırmanın belgelenmiş yollarıdır.

Sabit ücretli plan toplu işler için iyi mi?

DeepSeek V4.1 Flash için olabilir. Bir oturum token sayacı olmadan aynı anda tek istek çalıştırır; maliyet sabittir, soru süredir. Öğe başına saniyeyi ölçün, sonra işi dönem içinde bitirecek kadar oturum alın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor