Artificial Analysis est souvent le premier réflexe pour comparer des API LLM, car il chronomètre de vraies requêtes envoyées à chaque fournisseur. Mais ce n’est qu’un angle de vue. D’autres sites classent selon des votes humains, des scores de benchmarks, l’usage ou le prix, et chacun répond à une question différente. Ce guide présente ce que chacun mesure, comment, quelles données vous pouvez récupérer et quand l’utiliser. Chaque fait ci-dessous a été lu sur les pages du site concerné le 15 novembre 2026.
D’abord une précision : BroadRouter est le site de BroadNet. Il oriente les développeurs vers BroadNet Inference et publie des données de prix. Il ne fait pas de benchmarks de modèles et n’apparaît dans cette liste que pour les prix.
Qu’est-ce qu’Artificial Analysis fait bien ?
Artificial Analysis se décrit comme « Independent analysis of AI » (traduction : « Analyse indépendante de l’IA »). Sa page de méthodologie explique trois choses qu’il fait et que peu d’autres font :
- La vitesse par endpoint de fournisseur. La vitesse de sortie correspond aux « output tokens per second over each request’s full duration » (traduction : « tokens de sortie par seconde sur toute la durée de chaque requête »), tokens de raisonnement compris, en moyenne « over the workloads we measured in the past 5 days » (traduction : « sur les charges mesurées au cours des 5 derniers jours »). Comme un modèle « may have multiple endpoints across different providers » (traduction : « peut avoir plusieurs endpoints chez différents fournisseurs »), vous pouvez voir le même modèle tourner plus vite chez un hébergeur que chez un autre.
- Une latence comparable. Il indique le temps jusqu’au premier token, le temps jusqu’au premier token de réponse (qui inclut le raisonnement, pour comparer équitablement modèles à raisonnement et sans raisonnement) et le temps total.
- Ses propres évaluations. L’Intelligence Index v5.0.1 combine neuf évaluations en quatre groupes de même poids (travail intellectuel, code, sciences, généraliste). Plusieurs sont ses propres benchmarks ou ses propres exécutions de tâches d’autres équipes, avec un nombre de répétitions indiqué.
Son classement des fournisseurs couvre « over 500 AI Model endpoints » (traduction : « plus de 500 endpoints de modèles d’IA »), avec coût par tâche, temps par tâche, latence jusqu’au premier token de réponse, taux d’erreur, fenêtre de contexte et licence. Les prix sont « the current prices listed by providers » (traduction : « les prix actuels affichés par les fournisseurs »), et son prix mixte utilise un ratio 7:2:1 de tokens en cache, d’entrée et de sortie. Corrigez ce mélange de tête si votre charge produit beaucoup de sortie.
Si vous avez besoin de vitesse et de taux d’erreur mesurés par fournisseur, il est difficile à remplacer. On cherche des alternatives quand on veut un autre signal : préférence humaine, domaine précis, données brutes téléchargeables ou liste de prix avec une source pour chaque ligne.
Quelles alternatives à Artificial Analysis existe-t-il ?
| Site | Ce qu’il mesure | Méthode | Données récupérables | Idéal pour |
|---|---|---|---|---|
| Artificial Analysis | Indice d’intelligence, vitesse de sortie, latence, taux d’erreur, prix par endpoint | Fait tourner ses propres évaluations et des requêtes chronométrées ; fenêtre glissante de 5 jours pour la vitesse | API gratuite, attribution obligatoire | Vitesse et latence par fournisseur |
| Arena (ex-LMArena) | Préférence humaine | Deux modèles anonymes répondent, une personne vote, les noms sont révélés ensuite | Jeux de données de préférences ouverts sur Hugging Face | Comment les réponses sont perçues |
| Epoch AI Benchmarking Hub | Scores de benchmarks dans le temps | Fait tourner certains benchmarks lui-même avec Inspect ; collecte les autres sur les classements officiels | CSV et client Python ; ses données sont sous CC BY | Tendances et scores bruts |
| Vals AI | Exactitude par domaine, coût et latence | 42 benchmarks, certains privés ou tenus à l’écart | Non précisé sur la page des benchmarks | Droit, finance, fiscalité et autres domaines |
| Classements OpenRouter | Usage | Tokens traités via OpenRouter, par tranches quotidiennes UTC | API publique des modèles avec prix | Ce que les développeurs utilisent vraiment |
| Open LLM Leaderboard (Hugging Face) | Scores des modèles open-weight | Six benchmarks dans le harnais d’Eleuther AI | Jeux de données de résultats et de requêtes | Comparer des checkpoints ouverts |
| Données de prix BroadRouter (site de BroadNet) | Prix publiés uniquement | Relevés sur la page de tarifs de chaque fournisseur, avec URL, date et citation | CSV et JSON, CC BY 4.0 pour la compilation | Vérifier un prix à sa source |
En quoi Arena est-il différent ?
Arena (lmarena.ai redirige désormais vers arena.ai) demande à de vraies personnes de comparer deux réponses anonymes et d’en choisir une. Les noms des modèles n’apparaissent qu’après le vote. On mesure donc une préférence, qui mêle exactitude, ton, longueur et mise en forme. Son classement comporte des tableaux séparés, dont Text, WebDev, Vision, Document et Search, et sa vue Pareto affiche un coût par tâche. Arena indique avoir publié ses données de préférences en open source sur Hugging Face, ce qui est utile si vous voulez étudier les votes plutôt que lire un rang.
Utilisez-le pour voir comment une réponse de chat est reçue. Ne l’utilisez pas pour choisir un fournisseur d’API : il classe des modèles, pas des hébergeurs, et ne dit rien de la vitesse sur un endpoint donné.
Quand Epoch AI et Vals AI conviennent-ils mieux ?
Epoch AI tient une base de résultats de benchmarks, qui suivait 99 benchmarks et 428 modèles lors de notre vérification. Il produit certains résultats lui-même avec le framework Inspect ; les autres proviennent des classements officiels tenus par les créateurs des benchmarks. Vous pouvez télécharger les données en CSV ou utiliser son client Python. Ses propres données sont librement réutilisables avec attribution sous CC BY ; les résultats de source externe gardent leur licence d’origine. Choisissez Epoch si vous voulez des scores bruts ou une courbe de tendance, pas un indice unique.
Vals AI fait tourner 42 benchmarks couvrant le droit, la finance, la santé, le code, les mathématiques et d’autres domaines, et certains jeux sont privés ou tenus à l’écart, ce qui réduit le risque qu’un modèle ait été entraîné sur le test. Ses classements comparent exactitude, coût et latence, et son Inference Provider Index compare les fournisseurs sur l’exactitude, le coût et la vitesse. Son indice composite, le Vals Index, pondère les secteurs selon leur part du PIB américain. Choisissez Vals si votre tâche ressemble à l’un de ses domaines.
Que montrent vraiment les classements OpenRouter ?
L’usage. Chaque modèle est classé selon les « tokens it processed through the OpenRouter API » (traduction : « tokens qu’il a traités via l’API OpenRouter »), prompt et complétion confondus, sur les un, sept ou trente derniers jours. La page dit clairement que les classements « do not rank models by accuracy, reasoning ability, or benchmark performance » (traduction : « ne classent pas les modèles selon leur exactitude, leur capacité de raisonnement ou leurs résultats aux benchmarks »). Un modèle qui écrit de longues réponses ou tourne dans de longues boucles d’agents grimpe dans le tableau. Lisez-le comme un signal de popularité et une liste de modèles à tester. OpenRouter a aussi un endpoint public des modèles avec les prix par modèle, qui reflète ce que facture OpenRouter, pas ce que chaque hébergeur facture en direct.
L’Open LLM Leaderboard de Hugging Face vaut-il encore le détour ?
Pour les checkpoints open-weight, oui, avec prudence. La documentation de Hugging Face indique que la première version a été archivée en juin 2024 et remplacée. La version actuelle note les modèles sur IFEval, BBH, MATH niveau 5, GPQA, MuSR et MMLU-Pro dans le harnais d’évaluation d’Eleuther AI, et publie les résultats sous forme de jeux de données. Elle évalue des fichiers de modèles, pas des API hébergées : elle ne peut rien vous dire du prix, de la vitesse ni de la façon dont un fournisseur sert le modèle.
Où comparer des modèles pour l’arabe ?
Les classements généraux disent peu de choses sur l’arabe, et les filtres visibles d’Arena ne comprennent pas la langue. Deux Spaces Hugging Face comblent en partie ce manque :
- L’Open Arabic LLM Leaderboard, tenu par l’organisation OALL, pour le texte arabe.
- L’Open Universal Arabic ASR Leaderboard, décrit comme « a benchmark for open-source multi-dialect Arabic ASR models » (traduction : « un benchmark de modèles ASR open source multi-dialectes pour l’arabe »), pour la reconnaissance vocale. BroadNet indique pour son modèle Transcribe Arabic : #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026). C’est le chiffre de BroadNet, et le classement évolue à mesure que des modèles s’ajoutent.
Lisez les résultats de reconnaissance vocale dialecte par dialecte, pas seulement la moyenne. Le taux d’erreur par mot en ASR arabe expliqué montre comment.
Où se situent les données de prix de BroadRouter ?
BroadRouter publie trois ressources de prix : les pages de prix des API LLM par modèle, l’indice des prix avec médianes et écarts, et la base brute des prix des fournisseurs. Chaque ligne est relevée sur la page de tarifs du fournisseur et stockée avec l’URL source, la date et une citation textuelle, et un script hebdomadaire récupère à nouveau les sources. Aucun flux d’agrégateur n’est utilisé.
Ce qu’elles ne font pas compte tout autant :
- Elles ne mesurent ni la vitesse, ni la latence, ni la disponibilité, ni la qualité. Pour cela, utilisez Artificial Analysis, Arena, Epoch AI ou Vals AI.
- Elles ne contiennent que des prix de tiers. Les prix de BroadNet lui-même figurent dans son pricing.json et sur la page des tarifs.
- C’est le site de BroadNet : considérez-les comme la compilation d’un fournisseur, vérifiable ligne par ligne, et non comme un arbitre neutre.
Comment combiner ces sites ?
- Présélectionnez sur la qualité. Utilisez Arena pour le ressenti en chat et Epoch AI ou Vals AI pour les scores de tâches dans votre domaine. Gardez trois à cinq modèles.
- Vérifiez la vitesse chez l’hébergeur que vous utiliserez. Artificial Analysis montre la vitesse et la latence par endpoint. La latence des LLM expliquée indique quel chiffre compte pour votre application.
- Vérifiez le prix à la source. Trouvez les fournisseurs grâce à une base de prix, puis ouvrez la page de chacun. Surveillez les prix de l’entrée en cache et de la sortie, qui pèsent plus sur la facture que l’entrée pour beaucoup de charges.
- Testez sur vos propres données. Passez 50 à 100 entrées réelles dans chaque finaliste et notez-les. Un benchmark ne prédit vos résultats que dans la mesure où ses tâches ressemblent aux vôtres. Comment évaluer un LLM avant de changer donne la méthode, et la checklist en 20 points pour choisir un fournisseur couvre limites, confidentialité et support.
La place de BroadNet Inference
BroadNet Inference est une API compatible OpenAI, pas un classement. Il sert une petite sélection de modèles : DeepSeek V4.1 Flash (hébergé par un partenaire), GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B et deux modèles de transcription (speech-to-text). L’appel d’outils et la sortie structurée ne sont documentés que pour GLM 5.3 et Qwen3.8 27B. Les comptes en libre-service n’ont pas de SLA, et il n’y a ni API batch ni embeddings. Si l’un de ces modèles entre dans votre présélection, le crédit de départ de $5 couvre Gemma 4 VL 26B, les deux modèles Transcribe et les clés horaires Gemma : vous pouvez donc mener l’étape 4 sur vos propres entrées avant de payer ; DeepSeek, GLM et Qwen nécessitent une recharge. Les prompts et les réponses ne sont pas conservés. Comparez les modèles ou créez un compte.
