---
title: "Batch API olmadan LLM toplu işleme: betik ve hesap | BroadRouter"
description: "Batch API olmadan 10.000 ila 1.000.000 istemi chat completions API'sinden geçirin: eş zamanlılık sınırı, hız ayarı, yeniden deneme, kontrol noktası ve süre hesabı."
url: https://broadrouter.com/tr/blog/llm-batch-processing-without-batch-api/
lang: tr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/llm-batch-processing-without-batch-api/) (güncelleme: 2026-11-16).

# Batch API olmadan LLM toplu işleme: kaldığı yerden devam eden betik

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı 2026-11-15 · Güncellendi 2026-11-16

Batch API yoksa işi kendiniz çalıştırın: öğeleri bir JSONL dosyasından okuyun, aynı anda açık istek sayısını anahtarın limitinde tutun, istek başlangıçlarını dakika başına limitin altında yayın, 429 ve 5xx hatalarını sınırlı geri çekilmeyle yeniden deneyin ve her sonucu kimliğiyle dosyaya ekleyin. Yeniden başlatınca biten kimlikleri atlayın. Bitiş süresini genellikle model değil, hız limiti belirler.

## Öne çıkanlar

-   BroadNet Inference yalnızca chat completions ve transkripsiyon uç noktalarını belgeler. Batch API ve toplu iş indirimi yoktur; toplu bir iş sıradan isteklerden oluşan bir döngüdür.
-   Bitiş süresi, öğe sayısı ÷ iki hızdan yavaş olanıdır: eş zamanlı istek limiti ÷ gecikme veya dakika başına istek. Kullandıkça öde anahtarı aynı anda 4 ve dakikada 30 isteğe izin verir; istek başına tek öğeyle üst sınır günde 43.200'dür.
-   Her öğe için kimliğe bağlı bir sonuç satırı yazın ve diske boşaltın. O satır kontrol noktasıdır: bir çökme en fazla o an açık olan isteklere mal olur.
-   Bir plan oturumu aynı anda tek istek çalıştırır. İşlem hacmi oturum başına günde 86.400 ÷ ölçtüğünüz öğe başına saniyedir.
-   İş bir gün bekleyebiliyorsa ve %50 toplu iş indirimi önemliyse OpenAI'ın ve Anthropic'in Batch API'leri daha ucuz olabilir. İkisini de fiyatlayın.

**Bu sayfada**

1.  BroadNet Inference’ın Batch API’si var mı?
2.  İş ne kadar sürecek?
3.  Kaldığı yerden devam eden bir çalıştırıcı neye benzer?
4.  Neden asyncio.gather değil de işçi havuzu?
5.  Yeniden denemeler nasıl güvenli kalır?
6.  Kontrol noktası nasıl çalışır?
7.  Maliyeti ne: kullandıkça öde mi, plan oturumu mu?
8.  BroadNet Inference bu tabloda nerede duruyor?

Bazı LLM işleri sohbet değildir. Etiketlenecek 50.000 destek kaydınız, çevrilecek 200.000 ürün açıklamanız ya da puanlanacak bir milyon yorumunuz vardır. OpenAI ve Anthropic gibi sağlayıcılar bunun için bir [Batch API](https://broadrouter.com/tr/glossary/batch-api/) satıyor. BroadNet Inference dahil pek çok OpenAI uyumlu API’de ise böyle bir şey yok. Bu yazı işi kendiniz nasıl çalıştıracağınızı gösteriyor: ne kadar süreceğini hesaplayın, limitlere uyan bir çalıştırıcı yazın ve durdurup yeniden başlatmayı güvenli hâle getirin.

BroadRouter, BroadNet’in kendi sitesidir; bu yüzden örnek rakamlar BroadNet’in yayımladığı limitleri kullanıyor. Yöntem herhangi bir chat completions API’sinde çalışır; kendi sağlayıcınızın rakamlarını koyun.

## BroadNet Inference’ın Batch API’si var mı?

Hayır. 15 Kasım 2026’da kontrol edilen [API başvurusu](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-batch-processing-without-batch-api&utm_content=body), `POST /v1/chat/completions`, `POST /v1/audio/transcriptions` ve `GET /v1/models` (model listesi) uç noktalarını, ayrıca `/portal/` altındaki hesap uç noktalarını belgeliyor. Toplu iş veya dosya yükleme uç noktası yok, toplu iş indirimi de yok. Toplu bir iş, normal isteklerden oluşan bir döngüdür.

Barındırılan bir Batch API’nin size ne verdiğine bakalım; böylece neyi yeniden kurduğunuzu bilirsiniz:

|  | OpenAI Batch API | Anthropic Message Batches | Kendi çalıştırıcınız |
| --- | --- | --- | --- |
| Fiyat | Eş zamanlı isteklere göre %50 indirimli | %50 indirimli | Normal fiyat |
| Teslim süresi | 24 saat içinde | Çoğu 1 saat içinde; 24 saat sonra süresi dolar | Hız limitlerinize bağlı |
| Toplu iş başına boyut | 50.000 istek veya 200 MB | 100.000 istek veya 256 MB | Herhangi bir boyut |
| Hız limitleri | Model başına limitlerden ayrı | Kuyruktaki isteklere uygulanır | Anahtarınızın limitleri |
| Sonuç sırası | Farklı olabilir; `custom_id` ile eşleştirin | `custom_id` ile eşleştirin | Sonuçları kimliğe göre siz anahtarlarsınız |

İki ders buraya da taşınır. İki sağlayıcı da her isteği bir kimlikle etiketlemenizi ister, çünkü sonuçlar sırayla gelmez. İkisi de saniyeler içinde yanıt vaat etmez. Çalıştırıcınız da aynı şekilde çalışmalı: her şeyde kimlik ve saatlerle ölçülen bir plan.

%50 indirim teslim süresinden daha önemliyse ve ihtiyacınız olan modeller oradaysa, barındırılan bir Batch API daha ucuz araç olabilir. Kurmaya başlamadan önce ikisini [LLM API maliyet hesaplayıcısıyla](https://broadrouter.com/tools/llm-api-cost-calculator/) fiyatlayın.

## İş ne kadar sürecek?

Bunu kod yazmadan önce hesaplayın. İşlem hacmini iki limit sınırlar ve yavaş olan kazanır:

-   **Eş zamanlı istek limiti ÷ gecikme.** Aynı anda 4 istek ve istek başına 2 saniyeyle saniyede 2 istek bitirebilirsiniz.
-   **Dakika başına istek.** Dakikada 30 istekle, model ne kadar hızlı olursa olsun saniyede 0,5 istek başlatabilirsiniz.

Bir BroadNet [kullandıkça öde](https://broadrouter.com/tr/glossary/pay-as-you-go/) anahtarı aynı anda 4 isteğe ve dakikada 30 isteğe izin verir. Kontrol ettiğimizde API referansındaki değerlerle (dakikada 30 ve aynı anda 4, 2026-11-15), her istek 8 saniyeden uzun sürmedikçe bağlayıcı olan [hız limitidir](https://broadrouter.com/tr/glossary/rate-limit/); aşağıdaki tablo dakikada 30 isteği kullanır:

| Öğe | İstek başına tek öğe | İstek başına 20 öğe |
| --- | --- | --- |
| 10.000 | 5,6 saat | 17 dakika |
| 100.000 | 2,3 gün | 2,8 saat |
| 1.000.000 | 23 gün | 28 saat |

Dakikada 30 istekle bir anahtar saatte 1.800, günde 43.200 istek yapar. Yeniden denemeler de sayılır: tetiklediğiniz her 429 bir yuva harcar.

İkinci sütun en büyük kaldıraçtır. Yorumlar veya destek kaydı konuları gibi kısa öğeler, numaralı bir liste olarak istek başına 10 ila 50 tane gönderilip bir JSON dizisi olarak geri alınabilir. Dizide her girdi için bir öğe olduğunu ve her birinin numarasını taşıdığını kontrol edin. [Arapça metin sınıflandırma yazısı](https://broadrouter.com/tr/blog/arabic-text-classification-llm/) bu kalıbı gösteriyor. Uzun öğeler paketlenmez: her istek yine de modelin [bağlam penceresine](https://broadrouter.com/tr/glossary/context-window/) sığmalıdır ve liste uzadıkça kalite düşebilir. Paketlemeye güvenmeden önce onu 200 öğede test edin.

Anahtar başına bir limiti aşmak için tek bir işi sormadan birkaç anahtara yaymayın. BroadNet’in [Kabul Edilebilir Kullanım Politikası](https://www.broadnet.ai/aup) hız, eş zamanlılık veya bütçe limitlerinin aşılmaya çalışılmasını yasaklıyor. Daha fazlasına ihtiyacınız varsa BroadNet’e sorun ya da aşağıda anlatılan plan oturumlarını kullanın. [Toplu iş planlayıcısı](https://broadrouter.com/tools/llm-batch-job-planner/) bu hesabı sizin öğe sayınız, gecikmeniz ve limitleriniz için yapar.

## Kaldığı yerden devam eden bir çalıştırıcı neye benzer?

Bu çalıştırıcı `items.jsonl` dosyasını (her satırda bir `{"id", "text"}` nesnesi) okur ve her öğe için `results.jsonl` dosyasına bir sonuç satırı ekler. Yalnızca OpenAI Python SDK’ya ihtiyaç duyar.

```python
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))
```

`python batch_run.py items.jsonl results.jsonl` ile çalıştırın. Bu dosyanın aynısını, rastgele 429 (%8) ve 500 (%5) döndüren, aynı anda 4’ten fazla isteği veya dakikada 30’dan fazla başlangıcı reddeden yerel bir sahte sunucuya karşı test ettik. 25 öğe 28 istekle (3 yeniden deneme) 55 saniyede bitti ve hiçbir 60 saniyelik pencerede 30’dan fazla başlangıç olmadı. Zaman kazanmak için sahte sunucunun limiti dakikada 300’e çıkarıldığında, 10 saniye sonra durdurulan 120 öğelik bir çalıştırma kaydedilmiş 39 sonuçtan devam etti ve yinelenen kayıt olmadan 120 benzersiz kimlikle tamamlandı.

## Neden asyncio.gather değil de işçi havuzu?

[429 rehberi](https://broadrouter.com/tr/blog/handle-llm-api-429-rate-limits/) `asyncio.gather` etrafında bir semaphore kullanıyor. Birkaç yüz çağrı için bu yeterli. Büyük bir işte bir kuyruktan iş çeken sabit bir işçi havuzu daha iyidir:

-   **Bellek.** `gather` baştan her öğe için bir görev oluşturur. Havuz yalnızca o an açık olan öğeleri tutar.
-   **Eş zamanlılık havuz boyutudur.** Dört işçinin asla beş açık isteği olamaz.
-   **Sonuçlar bittikçe diske akar**, hangi sırayla biterlerse, kimliğe göre anahtarlanmış olarak.

İkinci limiti `Pacer` karşılar. Tek başına bir semaphore aynı anda 4 isteği aşmanızı engeller, ama istekler bir saniye sürüyorsa dört işçi dakikada 240 istek başlatır ve çoğunda 429 alır. Pacer, yeniden denemeler dahil, tüm işçiler genelinde başlangıçları 2 saniye arayla yayar.

## Yeniden denemeler nasıl güvenli kalır?

Yalnızca ikinci denemede başarılı olabilecek şeyleri yeniden deneyin:

| Yanıt | Eylem |
| --- | --- |
| 429 | Geri çekilin ve yeniden deneyin; BroadNet’in belgeleri “use response details and bounded backoff” diyor (BroadRouter çevirisi: yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanın) |
| 500, 502, 503, 504, zaman aşımları, kopan bağlantılar | Sınırlı üstel geri çekilmeyle yeniden deneyin |
| 400, 422 | İsteği düzeltin; yeniden denemek aynı hatayı gönderir |
| 401, 402, 403 | İşi durdurun; anahtar, bakiye veya politika ilgi bekliyor |
| 413 | Öğeyi kısaltın |

Çalıştırıcı, tek bir yeniden deneme politikası ve görünür bir üst sınır olsun diye SDK’nın kendi yeniden denemelerini kapatır (`max_retries=0`). Geri çekilme tam jitter’lı (rastgele sapmalı) ve [üsteldir](https://broadrouter.com/tr/glossary/exponential-backoff/), 60 saniyeyle sınırlıdır; böylece birlikte başarısız olan işçiler birlikte yeniden denemez. Altı denemeden sonra öğe `"ok": false` olarak yazılır ve iş devam eder. Tek bir kötü öğe asla bir milyonu durdurmaz.

Bir model çağrısının yan etkisi yoktur, dolayısıyla burada teslimat “en az bir kez” esaslıdır: süreç bir istek ortasında ölürse o öğe yeniden başlatmada tekrar gönderilir ve iki kez ödersiniz. Tek israf budur. İş ayrıca destek kayıtları veya e-postalar gibi başka bir sisteme yazıyorsa, bu yazmayı öğe kimliğine göre [idempotent](https://broadrouter.com/tr/glossary/idempotency-key/) yapın ve `results.jsonl` üzerinden ayrı bir geçişte gerçekleştirin. [Uzun süren ajanlar yazısı](https://broadrouter.com/tr/blog/long-running-agents-timeouts-retries/) idempotent yan etkileri ayrıntılı anlatıyor.

## Kontrol noktası nasıl çalışır?

Çıktı dosyası kontrol noktasıdır. Biten her öğe diske boşaltılmış tek bir satırdır; bir çökme, bir dağıtım veya Ctrl-C’den sonra bir sonraki çalıştırma dosyayı okur, `"ok": true` olan kimlikleri toplar ve yalnızca geri kalanları kuyruğa alır. Daha önce başarısız olan öğeler bir sonraki çalıştırmada yeniden denenir ve yeni satırları dosyanın sonuna eklenir. Sonuçları okurken her kimlik için son satırı alın.

Bunu günlerce ayakta tutan üç alışkanlık:

1.  **Kararlı kimlikler.** Bir veritabanı anahtarı ya da girdinin hash’ini kullanın; girdi dosyası değişince kayan bir satır numarasını asla.
2.  **`finish_reason` değerini kontrol edin.** `max_tokens` sınırında kesilmiş bir yanıt `"ok": true` olur ama işe yaramaz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve [akıl yürütme max\_tokens sınırına sayılır](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/). Çalıştırıcı, BroadNet’in belgelediği `reasoning_effort="low"` ayarını kullanır ve 1.500 token bırakır.
3.  **Kullanımı her satırda kaydedin.** `results.jsonl` içindeki `usage` değerlerini toplamak, tahmininizle karşılaştıracağınız gerçek token faturasını verir.

## Maliyeti ne: kullandıkça öde mi, plan oturumu mu?

Kullandıkça öde modelinde maliyet token’dır. 100.000 yorum, 150 token’lık bir sistem istemi, 150 token’lık bir yorum ve düşük akıl yürütmeyle 100 çıktı token’ı alalım. Bu 30 milyon girdi ve 10 milyon çıktı token’ı eder. [DeepSeek V4.1 Flash](https://broadrouter.com/tr/models/deepseek-v4.1-flash/) üzerinde maliyet 30 × $0.175 + 10 × $0.52 olur. Sistem istemini başta ve bayt bayt aynı tutarsanız, önbelleğin isabet ettiği yerlerde onun 15 milyon token’ı 1M başına $0.0055 olan [önbellekli girdi](https://broadrouter.com/tr/blog/cached-input-tokens-explained/) fiyatından faturalanabilir. Bunun ne sıklıkla olduğunu `usage` satırlarınız gösterir.

Bir planda token’lar ücretsizdir, maliyet süredir. Bir DeepSeek V4.1 Flash plan oturumu “runs one request at a time” (BroadRouter çevirisi: aynı anda tek istek çalıştırır), bu yüzden oturum başına `IN_FLIGHT=1` ayarlayın. Oturum başına işlem hacmi günde 86.400 ÷ öğe başına saniyedir. BroadNet tipik hızı saniyede yaklaşık 100 token olarak veriyor, ama gecikmeniz istem uzunluğuna ve akıl yürütmeye bağlıdır; bu yüzden 50 öğede ölçün. Öğe başına 3 saniye ölçerseniz bir oturum günde 28.800 öğe işler:

| İş | Oturum | Öğe başına 3 sn ile süre | Plan |
| --- | --- | --- | --- |
| 100.000 öğe | 1 | Yaklaşık 3,5 gün | Bir Orbit haftası, oturum başına $15 |
| 100.000 öğe | 4 | Yaklaşık 21 saat | Oturum başına birer tane olmak üzere dört Orbit haftası ya da oturum başına her biri $1 olan yaklaşık 21 Meteor saati |
| 1.000.000 öğe | 6 | Yaklaşık 6 gün | Altı Orbit haftası |

Planlar “best effort under fair use” (BroadRouter çevirisi: adil kullanım kapsamında en iyi çaba esasıyla) sunulur ve BroadNet plan anahtarları için dakika başına bir istek limiti yayımlamaz; geçerli limitleri hesabınız gösterir. `RPM` değerini tahmine göre değil, bunlara göre ayarlayın. [Oturum planlayıcı rehberi](https://broadrouter.com/tr/guides/unlimited-llm-api-sessions/) oturumların anahtarlara nasıl bölüneceğini açıklıyor.

## BroadNet Inference bu tabloda nerede duruyor?

BroadNet Inference’ın Batch API’si yok; bu yüzden çalıştırıcıyı kendiniz kontrol edip normal token başına fiyatları ödemeyi ya da maliyeti DeepSeek V4.1 Flash plan oturumlarıyla sabitlemeyi tercih ettiğinizde toplu işlere uygundur. Bütçeli küçük işler için 1M başına $0.10 girdi ve $0.22 çıktı fiyatıyla [Gemma 4 VL 26B](https://broadrouter.com/tr/models/gemma-4-vl-26b/), $5 başlangıç kredisiyle çalışır. İstemler ve çıktılar her istekten sonra saklanmaz. İşiniz bir gün bekleyebiliyorsa ve ihtiyacınız olan modeller %50 toplu iş indirimi sunan bir sağlayıcıdaysa, orası daha ucuza gelebilir; karar vermeden önce karşılaştırın. Planlar ve limitler [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-batch-processing-without-batch-api&utm_content=body) adresinde.

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[Batch API (toplu işlem API'si)](https://broadrouter.com/tr/glossary/batch-api/)

Batch API, çok sayıda isteği genellikle bir dosya olarak tek seferde kabul eden, bunları hemen değil belirli bir süre içinde işleyen ve sonuçları birlikte döndüren asenkron bir LLM uç noktasıdır. OpenAI ve Anthropic gibi sağlayıcılar batch isteklerini standart API'lerine göre indirimli fiyatlandırır.

[Token](https://broadrouter.com/tr/glossary/token/)

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

[Kullandıkça öde (pay-as-you-go)](https://broadrouter.com/tr/glossary/pay-as-you-go/)

Kullandıkça öde, abonelik veya asgari taahhüt olmadan yalnızca kullandığınız kadar ödediğiniz, token, istek veya ses dakikası gibi birimler üzerinden ölçülen bir fiyatlandırma modelidir. LLM API'lerinin çoğu bu şekilde, ön ödemeli bir bakiyeden veya dönemsel faturayla ücretlendirir.

[Araç çağırma (tool calling)](https://broadrouter.com/tr/glossary/tool-calling/)

Araç çağırma (tool calling), fonksiyon çağırma (function calling) olarak da bilinir; modelin, geliştiricinin tanımladığı bir fonksiyonu çalıştırmak için JSON argümanlı yapılandırılmış bir istek döndürdüğü bir LLM API özelliğidir. Fonksiyonu uygulama çalıştırır ve sonucu geri gönderir; model hiçbir zaman kodu kendisi çalıştırmaz.

[Chat Completions API](https://broadrouter.com/tr/glossary/chat-completions-api/)

Chat Completions API, OpenAI'nin bir model adı ile rollerle etiketlenmiş mesaj listesini alıp modelin sonraki mesajını döndüren HTTP uç noktasıdır: POST /v1/chat/completions. İstek ve yanıt yapısı, OpenAI uyumlu sağlayıcıların ve SDK'ların yeniden kullandığı ortak format hâline geldi.

[Eşzamanlılık (concurrency)](https://broadrouter.com/tr/glossary/concurrency/)

Eşzamanlılık (concurrency), bir istemcinin aynı anda işlemde olan istek sayısıdır. LLM API'leri bunu genellikle dakikadaki istek sayısından ayrı olarak anahtar veya plan başına sınırlar, çünkü açık her istek yanıtı bitene kadar GPU kapasitesi tutar.

[Girdi ve çıktı token'ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/)

Girdi token'ları, bir dil modelinin istekte okuduğu token'lardır: sistem istemi, konuşma geçmişi, araç tanımları ve görseller dahil. Çıktı token'ları ise modelin yanıt olarak ürettikleridir, akıl yürütme dahil. LLM API'leri bunları genellikle ayrı fiyatlandırır ve çıktı genellikle daha pahalıdır.

[Hız sınırı (rate limit)](https://broadrouter.com/tr/glossary/rate-limit/)

Hız sınırı (rate limit), bir API'nin bir istemcinin belirli bir zaman aralığındaki kullanımına koyduğu üst sınırdır; örneğin dakika başına istek veya dakika başına token. Sınırı aşan istekler, kullanım tekrar sınırın altına inene kadar genellikle HTTP 429 Too Many Requests ile reddedilir.

## Sık sorulan sorular

### BroadNet Inference'ın Batch API'si var mı?

Hayır. 15 Kasım 2026'da kontrol edilen API başvurusu POST /v1/chat/completions, POST /v1/audio/transcriptions ve GET /v1/models uç noktalarını belgeliyor; toplu iş veya dosya yükleme uç noktası ve toplu iş indirimi yok. Toplu işleri anahtarınızın limitleri içinde sıradan istekler olarak çalıştırın.

### 100.000 istemi bir LLM API ile nasıl işlerim?

Öğeleri her birinin bir kimliği olan bir JSONL dosyasına koyun. Anahtarın eş zamanlı istek limitine eşit sayıda sabit işçi çalıştırın, istek başlangıçlarını dakika başına limitin altında yayın, 429 ve 5xx hatalarını sınırlı geri çekilmeyle yeniden deneyin ve iş kaldığı yerden devam edebilsin diye her sonucu kimliğiyle bir çıktı dosyasına ekleyin.

### Bir milyon isteklik bir toplu iş ne kadar sürer?

Öğe sayısını gerçek hızınıza bölün. Dakikada 30 istek ve istek başına tek öğeyle bir anahtar günde 43.200 öğe işler; bir milyon yaklaşık 23 gün sürer. Model uzun istemi iyi işliyorsa istek başına 20 kısa öğe paketlemek bunu yaklaşık 28 saate indirir.

### Toplu LLM çağrıları için asyncio.gather mı, işçi havuzu mu kullanmalıyım?

On binlerce öğe için bir kuyruktan iş çeken sabit bir işçi havuzu kullanın. Semaphore ile gather küçük işlerde çalışır, ama her görevi baştan oluşturur ve kaldığı yerden devam etmeyi ve ilerleme takibini zorlaştırır.

### Daha hızlı gitmek için birden çok API anahtarı kullanabilir miyim?

Önce sorun. BroadNet'in Kabul Edilebilir Kullanım Politikası hız veya eş zamanlılık limitlerinin aşılmaya çalışılmasını yasaklıyor; anahtar başına limiti geçmek için tek bir işi anahtarlara bölmeden önce BroadNet'e danışın. İstek başına daha çok öğe paketlemek ve plan oturumları, işlem hacmini artırmanın belgelenmiş yollarıdır.

### Sabit ücretli plan toplu işler için iyi mi?

DeepSeek V4.1 Flash için olabilir. Bir oturum token sayacı olmadan aynı anda tek istek çalıştırır; maliyet sabittir, soru süredir. Öğe başına saniyeyi ölçün, sonra işi dönem içinde bitirecek kadar oturum alın.

## Okumaya devam edin

-   [LLM API 429 hatası nasıl çözülür: geri çekilme, jitter, sınırlayıcılar](https://broadrouter.com/tr/blog/handle-llm-api-429-rate-limits/)
-   [Uzun süren ajanlar: zaman aşımı, yeniden deneme ve kontrol noktası](https://broadrouter.com/tr/blog/long-running-agents-timeouts-retries/)
-   [LLM ile Arapça metin sınıflandırma: duygu, niyet, önceliklendirme](https://broadrouter.com/tr/blog/arabic-text-classification-llm/)
-   [Sabit fiyatlı LLM API ile paralel kodlama ajanları nasıl çalıştırılır?](https://broadrouter.com/tr/blog/run-parallel-coding-agents-flat-rate/)
-   [Kısa projeler için haftalık LLM planı: Orbit, saatlik ve aylık](https://broadrouter.com/tr/blog/weekly-llm-plan-short-projects/)
-   [Bir özelliği yayına almadan önce LLM API maliyeti nasıl hesaplanır](https://broadrouter.com/tr/blog/estimate-llm-api-cost-before-launch/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği](https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/)
-   [Rehber: BroadNet Inference hata kodları ve ne zaman yeniden denenmeli](https://broadrouter.com/tr/guides/errors-and-retries/)
-   [Rehber: OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/)
-   [Rehber: Ajanlar için sınırsız LLM API planları nasıl çalışır?](https://broadrouter.com/tr/guides/unlimited-llm-api-sessions/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-batch-processing-without-batch-api&utm_content=page-cta) ·

**Kaynaklar**

-   [BroadNet Inference API başvurusu: uç noktalar, kullandıkça öde limitleri (dakikada 30, aynı anda 4), saatlik anahtar limitleri, 429 ve 5xx yeniden deneme önerileri, reasoning\_effort (kontrol tarihi 2026-11-15) (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [BroadNet Inference planlar sayfası: oturum başına aynı anda tek istek, tipik hız, plan fiyatları (kontrol tarihi 2026-11-15) (İngilizce)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [BroadNet Kabul Edilebilir Kullanım Politikası, 3. ve 4. bölümler: hız veya eş zamanlılık limitlerini aşmaya çalışmak yasak; planlar adil kullanım kapsamında en iyi çaba esaslı (kontrol tarihi 2026-11-15) (İngilizce)](https://www.broadnet.ai/aup)
-   [OpenAI Batch API rehberi: %50 indirim, 24 saatlik pencere, toplu iş başına 50.000 istek veya 200 MB, çıktı sırası farklı olabilir, custom\_id (kontrol tarihi 2026-11-15)](https://developers.openai.com/api/docs/guides/batch)
-   [Anthropic Message Batches API belgeleri: %50 indirim, 100.000 istek veya 256 MB, çoğu toplu iş 1 saat içinde, 24 saat sonra süre dolumu (kontrol tarihi 2026-11-15)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
