Beaucoup de traitements LLM n’ont pas besoin d’une réponse immédiate. Une API batch échange la rapidité de réponse contre un prix plus bas et un volume plus élevé.
Comment ça marche
Vous préparez de nombreuses requêtes, les soumettez ensemble et récupérez les résultats plus tard. Les deux versions les mieux documentées :
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Entrée | Un fichier .jsonl, une requête par ligne |
Une liste de requêtes Messages |
| Prix | « 50% cost discount compared to synchronous APIs » (traduction : « 50 % de remise par rapport aux API synchrones ») | « 50 percent discount on all usage » (traduction : « 50 % de remise sur toute l’utilisation ») |
| Délai | « Each batch completes within 24 hours (and often more quickly) » (traduction : « chaque batch se termine en moins de 24 heures (et souvent plus vite) ») | La plupart en moins d’une heure ; expire s’il n’est pas fini sous 24 heures |
| Taille maximale | 50 000 requêtes, fichier d’entrée de 200 Mo | 100 000 requêtes ou 256 Mo par batch |
| Limites de débit | Séparées des limites par modèle | S’appliquent aussi aux requêtes batch en file d’attente |
Avec OpenAI, vous téléversez le fichier, créez un batch avec completion_window: "24h", interrogez son statut puis téléchargez le fichier de sortie. Les deux API exigent un custom_id unique par requête, car les résultats peuvent revenir dans un autre ordre que l’entrée. Anthropic conserve les résultats 29 jours, et ses remises batch et de prompt caching peuvent se cumuler.
Pourquoi c’est important
Les bons cas d’usage : évaluations, classification d’un grand jeu de données, résumés en masse et rattrapage de données existantes. Le guide d’OpenAI cite l’exécution d’évaluations et la classification de grands jeux de données comme usages typiques. Les mauvais : tout ce qu’un utilisateur attend.
Les économies sont réelles mais bornées. Un batch divise par deux le prix du token chez ces fournisseurs ; il ne réduit pas le nombre de tokens d’entrée et de sortie que vous envoyez. Raccourcir les prompts reste utile.
Un batch contourne aussi le problème de la limite de débit. Au lieu de gérer vous-même les 429 et le backoff, vous laissez le fournisseur planifier le travail.
Sur BroadNet Inference
La documentation de BroadNet ne mentionne ni API batch, ni endpoint de fichiers, ni remise batch. Sur BroadNet, un traitement en masse passe par des requêtes synchrones lancées en parallèle dans les limites de votre clé : 30 requêtes par minute et 4 en cours simultanément avec une clé à l’usage. Gérez les réponses 429 et 5xx avec un backoff exponentiel borné, comme le montre le guide des erreurs et nouvelles tentatives.
Pour les longs traitements sur DeepSeek V4.1 Flash, une session de forfait exécute une requête à la fois, sans compteur de tokens : le coût dépend alors du temps et non du volume. Utilisez le calculateur forfait ou paiement au token pour comparer les deux selon la taille de votre traitement, et le planificateur de traitements batch LLM pour la durée d’exécution dans vos limites et le nombre de sessions qu’exige une échéance.