BroadRouter
Loslegen

Batch API

Aktualisiert

Eine Batch API ist ein asynchroner LLM-Endpoint, der viele Anfragen auf einmal annimmt, meist als Datei, sie innerhalb eines festgelegten Zeitfensters statt sofort verarbeitet und die Ergebnisse gesammelt zurückgibt. Anbieter wie OpenAI und Anthropic berechnen Batch-Anfragen mit Rabatt gegenüber ihren Standard-APIs.

Auch genannt: Batch-API, Batch-Verarbeitung, Stapelverarbeitung, asynchrone Batch-Anfragen, batch API, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Viele LLM-Jobs brauchen keine sofortige Antwort. Eine Batch API tauscht Antwortgeschwindigkeit gegen einen niedrigeren Preis und mehr Volumen.

So funktioniert es

Sie bereiten viele Anfragen vor, reichen sie gemeinsam ein und holen die Ergebnisse später ab. Die beiden am besten dokumentierten Varianten:

OpenAI Batch API Anthropic Message Batches API
Eingabe Eine .jsonl-Datei, eine Anfrage pro Zeile Eine Liste von Messages-Anfragen
Preis „50% cost discount compared to synchronous APIs“ (Übersetzung: „50 % Kostenrabatt gegenüber synchronen APIs“) „50 percent discount on all usage“ (Übersetzung: „50 Prozent Rabatt auf die gesamte Nutzung“)
Bearbeitungszeit „Each batch completes within 24 hours (and often more quickly)“ (Übersetzung: „Jeder Batch ist innerhalb von 24 Stunden fertig (und oft schneller)“) Meist innerhalb von 1 Stunde; verfällt, wenn nicht innerhalb von 24 Stunden fertig
Größenlimit 50.000 Anfragen, Eingabedatei 200 MB 100.000 Anfragen oder 256 MB pro Batch
Rate Limits Getrennt von den Limits pro Modell Gelten auch für Batch-Anfragen in der Warteschlange

Bei OpenAI laden Sie die Datei hoch, erstellen einen Batch mit completion_window: "24h", fragen den Status ab und laden die Ausgabedatei herunter. Beide APIs verlangen pro Anfrage eine eindeutige custom_id, weil die Ergebnisse in anderer Reihenfolge als die Eingabe zurückkommen können. Anthropic bewahrt Ergebnisse 29 Tage auf, und die Rabatte für Batch und Prompt Caching lassen sich dort kombinieren.

Warum es wichtig ist

Gut geeignet sind Evaluierungen, die Klassifikation großer Datensätze, Massen-Zusammenfassungen und das Nachverarbeiten von Altbeständen. Der Leitfaden von OpenAI nennt Evaluierungen und die Klassifikation großer Datensätze als typische Anwendungen. Schlecht geeignet ist alles, worauf ein Nutzer wartet.

Die Ersparnis ist echt, aber begrenzt. Ein Batch halbiert bei diesen Anbietern den Token-Preis; er verringert nicht die Zahl der Input- und Output-Tokens, die Sie senden. Prompts zu kürzen lohnt sich weiterhin.

Ein Batch umgeht außerdem das Problem mit dem Rate Limit. Statt 429-Fehler und Backoff selbst zu verwalten, plant der Anbieter die Arbeit ein.

Bei BroadNet Inference

Die Dokumentation von BroadNet führt weder eine Batch API noch einen Files-Endpoint oder einen Batch-Rabatt auf. Massenarbeit bedeutet bei BroadNet synchrone Anfragen, die parallel innerhalb der Limits Ihres Keys laufen: 30 Anfragen pro Minute und 4 gleichzeitig laufende bei einem Pay-as-you-go-Key. Behandeln Sie 429- und 5xx-Antworten mit begrenztem exponentiellem Backoff, wie der Leitfaden zu Fehlern und Wiederholungen zeigt.

Für lange Jobs mit DeepSeek V4.1 Flash führt eine Session eines Flatrate-Plans eine Anfrage nach der anderen aus, ohne Token-Zähler; die Kosten richten sich also nach der Zeit statt nach dem Volumen. Mit dem Rechner Flatrate vs. pro Token vergleichen Sie beides für Ihre Jobgröße, und der Planer für LLM-Batch-Jobs zeigt die Laufzeit unter Ihren Limits und wie viele Sessions eine Frist erfordert.

Häufige Fragen

Wie viel günstiger ist eine Batch API?

OpenAI und Anthropic dokumentieren beide einen Rabatt von 50 % gegenüber ihren Standard-APIs. Bei Anthropic gilt der Rabatt für Input-, Output- und Spezial-Tokens.

Wie lange dauert ein Batch?

Laut OpenAI ist jeder Batch innerhalb von 24 Stunden fertig, oft früher. Anthropic sagt, die meisten Batches seien innerhalb von 1 Stunde fertig und verfallen, wenn die Verarbeitung nicht innerhalb von 24 Stunden abgeschlossen ist.

Hat BroadNet eine Batch API?

Die Dokumentation von BroadNet führt keine auf. Massenjobs können Sie ausführen, indem Sie Anfragen parallel innerhalb der Limits Ihres Keys senden, oder mit einem Flatrate-Plan für DeepSeek V4.1 Flash.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen