Viele LLM-Jobs brauchen keine sofortige Antwort. Eine Batch API tauscht Antwortgeschwindigkeit gegen einen niedrigeren Preis und mehr Volumen.
So funktioniert es
Sie bereiten viele Anfragen vor, reichen sie gemeinsam ein und holen die Ergebnisse später ab. Die beiden am besten dokumentierten Varianten:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Eingabe | Eine .jsonl-Datei, eine Anfrage pro Zeile |
Eine Liste von Messages-Anfragen |
| Preis | „50% cost discount compared to synchronous APIs“ (Übersetzung: „50 % Kostenrabatt gegenüber synchronen APIs“) | „50 percent discount on all usage“ (Übersetzung: „50 Prozent Rabatt auf die gesamte Nutzung“) |
| Bearbeitungszeit | „Each batch completes within 24 hours (and often more quickly)“ (Übersetzung: „Jeder Batch ist innerhalb von 24 Stunden fertig (und oft schneller)“) | Meist innerhalb von 1 Stunde; verfällt, wenn nicht innerhalb von 24 Stunden fertig |
| Größenlimit | 50.000 Anfragen, Eingabedatei 200 MB | 100.000 Anfragen oder 256 MB pro Batch |
| Rate Limits | Getrennt von den Limits pro Modell | Gelten auch für Batch-Anfragen in der Warteschlange |
Bei OpenAI laden Sie die Datei hoch, erstellen einen Batch mit completion_window: "24h", fragen den Status ab und laden die Ausgabedatei herunter. Beide APIs verlangen pro Anfrage eine eindeutige custom_id, weil die Ergebnisse in anderer Reihenfolge als die Eingabe zurückkommen können. Anthropic bewahrt Ergebnisse 29 Tage auf, und die Rabatte für Batch und Prompt Caching lassen sich dort kombinieren.
Warum es wichtig ist
Gut geeignet sind Evaluierungen, die Klassifikation großer Datensätze, Massen-Zusammenfassungen und das Nachverarbeiten von Altbeständen. Der Leitfaden von OpenAI nennt Evaluierungen und die Klassifikation großer Datensätze als typische Anwendungen. Schlecht geeignet ist alles, worauf ein Nutzer wartet.
Die Ersparnis ist echt, aber begrenzt. Ein Batch halbiert bei diesen Anbietern den Token-Preis; er verringert nicht die Zahl der Input- und Output-Tokens, die Sie senden. Prompts zu kürzen lohnt sich weiterhin.
Ein Batch umgeht außerdem das Problem mit dem Rate Limit. Statt 429-Fehler und Backoff selbst zu verwalten, plant der Anbieter die Arbeit ein.
Bei BroadNet Inference
Die Dokumentation von BroadNet führt weder eine Batch API noch einen Files-Endpoint oder einen Batch-Rabatt auf. Massenarbeit bedeutet bei BroadNet synchrone Anfragen, die parallel innerhalb der Limits Ihres Keys laufen: 30 Anfragen pro Minute und 4 gleichzeitig laufende bei einem Pay-as-you-go-Key. Behandeln Sie 429- und 5xx-Antworten mit begrenztem exponentiellem Backoff, wie der Leitfaden zu Fehlern und Wiederholungen zeigt.
Für lange Jobs mit DeepSeek V4.1 Flash führt eine Session eines Flatrate-Plans eine Anfrage nach der anderen aus, ohne Token-Zähler; die Kosten richten sich also nach der Zeit statt nach dem Volumen. Mit dem Rechner Flatrate vs. pro Token vergleichen Sie beides für Ihre Jobgröße, und der Planer für LLM-Batch-Jobs zeigt die Laufzeit unter Ihren Limits und wie viele Sessions eine Frist erfordert.