Molti job LLM non hanno bisogno di una risposta immediata. Una batch API rinuncia alla velocità di risposta in cambio di un prezzo più basso e di volumi più alti.
Come funziona
Prepari molte richieste, le invii insieme e raccogli i risultati più tardi. Le due versioni meglio documentate:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Input | Un file .jsonl, una richiesta per riga |
Una lista di richieste Messages |
| Prezzo | “50% cost discount compared to synchronous APIs” (traduzione: sconto del 50% rispetto alle API sincrone) | “50 percent discount on all usage” (traduzione: sconto del 50% su tutto l’utilizzo) |
| Tempi | “Each batch completes within 24 hours (and often more quickly)” (traduzione: ogni batch si completa entro 24 ore, e spesso prima) | Per lo più entro 1 ora; scade se non finisce entro 24 ore |
| Limite di dimensione | 50.000 richieste, file di input da 200 MB | 100.000 richieste o 256 MB per batch |
| Rate limit | Separati dai limiti per modello | Valgono anche per le richieste batch in coda |
Con OpenAI carichi il file, crei un batch con completion_window: "24h", controlli lo stato e scarichi il file di output. Entrambe le API richiedono un custom_id univoco per ogni richiesta, perché i risultati possono tornare in un ordine diverso da quello dell’input. Anthropic conserva i risultati per 29 giorni, e i suoi sconti batch e di prompt caching si possono sommare.
Perché è importante
Casi adatti sono le valutazioni, la classificazione di grandi dataset, i riassunti in massa e il recupero di dati arretrati. La guida di OpenAI cita l’esecuzione di valutazioni e la classificazione di grandi dataset come usi tipici. Non è adatta a nulla per cui un utente sta aspettando.
Il risparmio è reale ma ha un limite. Un batch dimezza il prezzo per token presso quei provider; non riduce quanti token di input e di output invii. Accorciare i prompt resta importante.
Un batch aggira anche il problema del rate limit. Invece di gestire tu i 429 e il backoff, è il provider a pianificare il lavoro.
Su BroadNet Inference
La documentazione di BroadNet non elenca una batch API, un endpoint per i file né uno sconto batch. Il lavoro di massa su BroadNet significa richieste sincrone eseguite in parallelo entro i limiti della tua chiave: 30 richieste al minuto e 4 in corso su una chiave a consumo. Gestisci le risposte 429 e 5xx con un backoff esponenziale limitato, come mostra la guida a errori e retry.
Per job lunghi su DeepSeek V4.1 Flash, una sessione di un piano flat esegue una richiesta alla volta senza contatore di token, quindi il costo dipende dal tempo e non dal volume. Usa il calcolatore piano flat o a token per confrontare le due opzioni per le dimensioni del tuo job, e il pianificatore di job batch LLM per il tempo di esecuzione con i tuoi limiti e le sessioni che servono per rispettare una scadenza.