BroadRouter
Commencer

API batch (traitement par lots)

Mis à jour

Une API batch est un endpoint LLM asynchrone qui accepte de nombreuses requêtes d’un coup, généralement sous forme de fichier, les traite dans une fenêtre définie plutôt qu’immédiatement et renvoie les résultats ensemble. Des fournisseurs comme OpenAI et Anthropic facturent les requêtes batch avec une remise par rapport à leurs API standard.

Aussi appelé : API batch, traitement par lots, API de traitement par lots, inférence par lots, requêtes batch asynchrones, batch API, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Beaucoup de traitements LLM n’ont pas besoin d’une réponse immédiate. Une API batch échange la rapidité de réponse contre un prix plus bas et un volume plus élevé.

Comment ça marche

Vous préparez de nombreuses requêtes, les soumettez ensemble et récupérez les résultats plus tard. Les deux versions les mieux documentées :

OpenAI Batch API Anthropic Message Batches API
Entrée Un fichier .jsonl, une requête par ligne Une liste de requêtes Messages
Prix « 50% cost discount compared to synchronous APIs » (traduction : « 50 % de remise par rapport aux API synchrones ») « 50 percent discount on all usage » (traduction : « 50 % de remise sur toute l’utilisation »)
Délai « Each batch completes within 24 hours (and often more quickly) » (traduction : « chaque batch se termine en moins de 24 heures (et souvent plus vite) ») La plupart en moins d’une heure ; expire s’il n’est pas fini sous 24 heures
Taille maximale 50 000 requêtes, fichier d’entrée de 200 Mo 100 000 requêtes ou 256 Mo par batch
Limites de débit Séparées des limites par modèle S’appliquent aussi aux requêtes batch en file d’attente

Avec OpenAI, vous téléversez le fichier, créez un batch avec completion_window: "24h", interrogez son statut puis téléchargez le fichier de sortie. Les deux API exigent un custom_id unique par requête, car les résultats peuvent revenir dans un autre ordre que l’entrée. Anthropic conserve les résultats 29 jours, et ses remises batch et de prompt caching peuvent se cumuler.

Pourquoi c’est important

Les bons cas d’usage : évaluations, classification d’un grand jeu de données, résumés en masse et rattrapage de données existantes. Le guide d’OpenAI cite l’exécution d’évaluations et la classification de grands jeux de données comme usages typiques. Les mauvais : tout ce qu’un utilisateur attend.

Les économies sont réelles mais bornées. Un batch divise par deux le prix du token chez ces fournisseurs ; il ne réduit pas le nombre de tokens d’entrée et de sortie que vous envoyez. Raccourcir les prompts reste utile.

Un batch contourne aussi le problème de la limite de débit. Au lieu de gérer vous-même les 429 et le backoff, vous laissez le fournisseur planifier le travail.

Sur BroadNet Inference

La documentation de BroadNet ne mentionne ni API batch, ni endpoint de fichiers, ni remise batch. Sur BroadNet, un traitement en masse passe par des requêtes synchrones lancées en parallèle dans les limites de votre clé : 30 requêtes par minute et 4 en cours simultanément avec une clé à l’usage. Gérez les réponses 429 et 5xx avec un backoff exponentiel borné, comme le montre le guide des erreurs et nouvelles tentatives.

Pour les longs traitements sur DeepSeek V4.1 Flash, une session de forfait exécute une requête à la fois, sans compteur de tokens : le coût dépend alors du temps et non du volume. Utilisez le calculateur forfait ou paiement au token pour comparer les deux selon la taille de votre traitement, et le planificateur de traitements batch LLM pour la durée d’exécution dans vos limites et le nombre de sessions qu’exige une échéance.

Questions fréquentes

Combien coûte de moins une API batch ?

OpenAI et Anthropic documentent tous deux une remise de 50 % par rapport à leurs API standard. Chez Anthropic, la remise s’applique aux tokens d’entrée, de sortie et spéciaux.

Combien de temps prend un batch ?

OpenAI indique que chaque batch se termine en moins de 24 heures, souvent plus tôt. Anthropic indique que la plupart des batchs se terminent en moins d’une heure et expirent si le traitement n’est pas fini sous 24 heures.

BroadNet propose-t-il une API batch ?

La documentation de BroadNet n’en mentionne pas. Vous pouvez lancer des traitements en masse en envoyant des requêtes en parallèle dans les limites de votre clé, ou avec un forfait pour DeepSeek V4.1 Flash.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity