Artificial Analysis ist oft die erste Anlaufstelle, wenn Sie LLM-APIs vergleichen, weil es echte Anfragen an jeden Anbieter misst. Es ist aber nur eine Perspektive. Andere Seiten ranken nach menschlichen Stimmen, nach Benchmark-Scores, nach Nutzung oder nach Preis, und jede beantwortet eine andere Frage. Dieser Leitfaden zeigt, was jede misst, wie, welche Daten Sie mitnehmen können und wann sie sich eignet. Jede Angabe unten wurde am 15. November 2026 auf den eigenen Seiten der jeweiligen Website gelesen.
Vorab ein Hinweis: BroadRouter ist die eigene Website von BroadNet. Sie verweist Entwickler an BroadNet Inference und veröffentlicht Preisdaten. Sie führt keine Benchmarks von Modellen durch und erscheint in dieser Liste nur wegen der Preise.
Was kann Artificial Analysis gut?
Artificial Analysis beschreibt sich als „Independent analysis of AI“ (Übersetzung: „Unabhängige Analyse von KI“). Seine Methodikseite erklärt drei Dinge, die es tut und nur wenige andere:
- Geschwindigkeit pro Anbieter-Endpoint. Die Output-Geschwindigkeit ist „output tokens per second over each request’s full duration“ (Übersetzung: „Output-Tokens pro Sekunde über die gesamte Dauer jeder Anfrage“), einschließlich Reasoning-Tokens, gemittelt „over the workloads we measured in the past 5 days“ (Übersetzung: „über die Workloads, die wir in den letzten 5 Tagen gemessen haben“). Weil ein Modell „may have multiple endpoints across different providers“ (Übersetzung: „mehrere Endpoints bei verschiedenen Anbietern haben kann“), sehen Sie, dass dasselbe Modell bei einem Host schneller läuft als bei einem anderen.
- Vergleichbare Latenz. Es meldet die Time to First Token, die Zeit bis zum ersten Antwort-Token (die das Reasoning einschließt, sodass sich Reasoning- und Nicht-Reasoning-Modelle fair vergleichen lassen) und die Gesamtzeit.
- Eigene Evaluationen. Der Intelligence Index v5.0.1 kombiniert neun Evaluationen in vier gleich gewichteten Gruppen (Wissensarbeit, Coding, Naturwissenschaft, Allgemeines). Mehrere davon sind eigene Benchmarks oder eigene Durchläufe fremder Aufgaben, mit angegebener Zahl an Wiederholungen.
Sein Leaderboard der Anbieter deckt „over 500 AI Model endpoints“ (Übersetzung: „über 500 KI-Modell-Endpoints“) ab, mit Kosten pro Aufgabe, Zeit pro Aufgabe, Latenz bis zum ersten Antwort-Token, Fehlerrate, Kontextfenster und Lizenz. Die Preise sind „the current prices listed by providers“ (Übersetzung: „die aktuell von den Anbietern gelisteten Preise“), und der gemischte Preis nutzt ein Verhältnis von 7:2:1 aus Cache-Treffer-, Input- und Output-Tokens. Rechnen Sie diese Mischung im Kopf um, wenn Ihr Workload viel Output erzeugt.
Wenn Sie gemessene Geschwindigkeit und Fehlerraten pro Anbieter brauchen, ist es schwer zu ersetzen. Nach Alternativen suchen Leute, wenn sie ein anderes Signal wollen: menschliche Präferenz, ein bestimmtes Fachgebiet, herunterladbare Rohdaten oder eine Preisliste mit Quelle für jede Zeile.
Welche Alternativen zu Artificial Analysis gibt es?
| Website | Was sie misst | Methode | Daten zum Mitnehmen | Am besten für |
|---|---|---|---|---|
| Artificial Analysis | Intelligence Index, Output-Geschwindigkeit, Latenz, Fehlerrate, Preis pro Endpoint | Führt eigene Evaluationen und zeitgemessene Anfragen durch; rollierendes 5-Tage-Fenster für Geschwindigkeit | Kostenlose API, Namensnennung erforderlich | Geschwindigkeit und Latenz pro Anbieter |
| Arena (früher LMArena) | Menschliche Präferenz | Zwei anonyme Modelle antworten, eine Person stimmt ab, danach werden die Namen gezeigt | Offene Präferenzdatensätze auf Hugging Face | Wie Antworten auf Menschen wirken |
| Epoch AI Benchmarking Hub | Benchmark-Scores im Zeitverlauf | Führt einige Benchmarks selbst mit Inspect durch; sammelt andere aus offiziellen Leaderboards | CSV und ein Python-Client; eigene Daten unter CC BY | Trends und Roh-Scores |
| Vals AI | Genauigkeit in Fachgebieten, Kosten und Latenz | 42 Benchmarks, einige privat oder zurückgehalten | Auf der Benchmarkseite nicht angegeben | Recht, Finanzen, Steuern und andere Fachgebiete |
| OpenRouter-Rankings | Nutzung | Über OpenRouter verarbeitete Tokens, in täglichen UTC-Intervallen | Öffentliche Modell-API mit Preisen | Was Entwickler tatsächlich nutzen |
| Open LLM Leaderboard (Hugging Face) | Scores von Open-Weight-Modellen | Sechs Benchmarks im Harness von Eleuther AI | Datensätze mit Ergebnissen und Anfragen | Vergleich offener Checkpoints |
| Preisdaten von BroadRouter (Website von BroadNet) | Nur veröffentlichte Preise | Von der eigenen Preisseite jedes Anbieters abgelesen, mit URL, Datum und Zitat | CSV und JSON, CC BY 4.0 für die Zusammenstellung | Einen Preis an der Quelle prüfen |
Was unterscheidet Arena?
Arena (lmarena.ai leitet inzwischen auf arena.ai weiter) lässt echte Menschen zwei anonyme Antworten vergleichen und eine auswählen. Die Modellnamen erscheinen erst nach der Abstimmung. Gemessen wird also Präferenz, in die neben Genauigkeit auch Ton, Länge und Formatierung einfließen. Das Leaderboard hat getrennte Ranglisten, darunter Text, WebDev, Vision, Document und Search, und seine Pareto-Ansicht zeigt Kosten pro Aufgabe. Arena gibt an, seine Präferenzdaten auf Hugging Face als Open Source veröffentlicht zu haben; das ist nützlich, wenn Sie Stimmen untersuchen wollen, statt nur einen Rang abzulesen.
Nutzen Sie Arena, um zu sehen, wie eine Chat-Antwort bei Menschen ankommt. Nutzen Sie es nicht, um einen Anbieter für eine API zu wählen: Es rankt Modelle, nicht Hosts, und sagt nichts über die Geschwindigkeit auf einem bestimmten Endpoint.
Wann passen Epoch AI und Vals AI besser?
Epoch AI führt eine Datenbank mit Benchmark-Ergebnissen und verfolgte bei unserer Prüfung 99 Benchmarks und 428 Modelle. Einige Ergebnisse ermittelt es selbst mit dem Framework Inspect; der Rest stammt aus offiziellen Leaderboards der Benchmark-Autoren. Sie können die Daten als CSV herunterladen oder den Python-Client nutzen. Die eigenen Daten dürfen unter CC BY mit Quellenangabe frei weiterverwendet werden; extern bezogene Ergebnisse behalten ihre ursprünglichen Lizenzen. Wählen Sie Epoch, wenn Sie Roh-Scores oder eine Trendlinie wollen, keinen einzelnen Index.
Vals AI führt 42 Benchmarks aus Recht, Finanzen, Gesundheitswesen, Coding, Mathematik und weiteren Bereichen durch, und einige Sets sind privat oder zurückgehalten; das verringert das Risiko, dass ein Modell auf dem Test trainiert wurde. Seine Leaderboards vergleichen Genauigkeit, Kosten und Latenz, und sein Inference Provider Index vergleicht Anbieter nach Genauigkeit, Kosten und Geschwindigkeit. Der zusammengesetzte Vals Index gewichtet Sektoren nach ihrem Anteil am BIP der USA. Wählen Sie Vals, wenn Ihre Aufgabe einem seiner Fachgebiete ähnelt.
Was zeigen die OpenRouter-Rankings tatsächlich?
Nutzung. Jedes Modell wird nach den „tokens it processed through the OpenRouter API“ (Übersetzung: „Tokens, die es über die OpenRouter-API verarbeitet hat“) gerankt, Prompt und Completion zusammen, über die letzten ein, sieben oder dreißig Tage. Die Seite sagt klar, dass die Rankings „do not rank models by accuracy, reasoning ability, or benchmark performance“ (Übersetzung: „Modelle nicht nach Genauigkeit, Reasoning-Fähigkeit oder Benchmark-Leistung ranken“). Ein Modell, das lange Antworten schreibt oder in langen Agenten-Schleifen läuft, steigt in der Tabelle. Lesen Sie sie als Beliebtheitssignal und als Liste testenswerter Modelle. OpenRouter hat außerdem einen öffentlichen Modell-Endpoint mit Preisen pro Modell; der zeigt, was OpenRouter berechnet, nicht, was jeder Host direkt verlangt.
Lohnt sich das Open LLM Leaderboard von Hugging Face noch?
Für Open-Weight-Checkpoints ja, mit Vorsicht. Laut der Dokumentation von Hugging Face wurde die erste Version im Juni 2024 archiviert und ersetzt. Die aktuelle Version bewertet Modelle auf IFEval, BBH, MATH Level 5, GPQA, MuSR und MMLU-Pro im Evaluation Harness von Eleuther AI und veröffentlicht die Ergebnisse als Datensätze. Sie bewertet Modelldateien, keine gehosteten APIs, und kann Ihnen daher nichts über Preis, Geschwindigkeit oder die Bereitstellung durch einen Anbieter sagen.
Wo vergleichen Sie arabische Modelle?
Allgemeine Leaderboards sagen wenig über Arabisch, und die sichtbaren Filter von Arena enthalten keine Sprache. Zwei Hugging Face Spaces schließen einen Teil der Lücke:
- Das Open Arabic LLM Leaderboard der Organisation OALL, für arabischen Text.
- Das Open Universal Arabic ASR Leaderboard, beschrieben als „a benchmark for open-source multi-dialect Arabic ASR models“ (Übersetzung: „ein Benchmark für Open-Source-ASR-Modelle für mehrere arabische Dialekte“), für Spracherkennung. BroadNet meldet für sein Modell Transcribe Arabic #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39). Das ist die Angabe von BroadNet, und die Rangliste ändert sich, wenn Modelle hinzukommen.
Lesen Sie Ergebnisse zur Spracherkennung nach Dialekt, nicht nur den Durchschnitt. Wortfehlerrate bei arabischer ASR erklärt zeigt, wie.
Wo passen die Preisdaten von BroadRouter hinein?
BroadRouter veröffentlicht drei Preisressourcen: die LLM-API-Preisseiten pro Modell, den Preisindex mit Medianen und Spannen sowie die Rohdatenbank der Anbieterpreise. Jede Zeile wird von der eigenen Preisseite des Anbieters abgelesen und mit Quell-URL, Datum und wörtlichem Zitat gespeichert, und ein wöchentliches Skript ruft die Quellen erneut ab. Es wird kein Aggregator-Feed genutzt.
Genauso wichtig ist, was sie nicht leisten:
- Sie messen weder Geschwindigkeit noch Latenz, Verfügbarkeit oder Qualität. Dafür nutzen Sie Artificial Analysis, Arena, Epoch AI oder Vals AI.
- Sie enthalten nur Preise von Drittanbietern. Die eigenen Preise von BroadNet stehen in seiner pricing.json und auf der Preisseite.
- Es ist die Website von BroadNet; behandeln Sie die Daten also als Zusammenstellung eines Anbieters, die Sie Zeile für Zeile prüfen können, nicht als neutralen Schiedsrichter.
Wie kombinieren Sie diese Seiten?
- Vorauswahl nach Qualität. Nutzen Sie Arena für das Chat-Gefühl und Epoch AI oder Vals AI für Aufgaben-Scores in Ihrem Fachgebiet. Behalten Sie drei bis fünf Modelle.
- Prüfen Sie die Geschwindigkeit beim Host, den Sie nutzen werden. Artificial Analysis zeigt Geschwindigkeit und Latenz pro Endpoint. LLM-Latenz erklärt behandelt, welche Zahl für Ihre Anwendung zählt.
- Prüfen Sie den Preis an der Quelle. Finden Sie die Anbieter über eine Preisdatenbank und öffnen Sie dann die eigene Seite jedes Anbieters. Achten Sie auf die Preise für gecachten Input und Output, die bei vielen Workloads die Rechnung stärker bewegen als der Input.
- Testen Sie mit Ihren eigenen Daten. Lassen Sie 50 bis 100 echte Eingaben durch jeden Finalisten laufen und bewerten Sie sie. Ein Benchmark sagt Ihre Ergebnisse nur so weit voraus, wie seine Aufgaben Ihren ähneln. Wie Sie ein LLM vor dem Wechsel evaluieren beschreibt die Methode, und die Checkliste mit 20 Punkten zur Anbieterwahl behandelt Limits, Datenschutz und Support.
Wo BroadNet Inference passt
BroadNet Inference ist eine OpenAI-kompatible API, kein Leaderboard. Es bietet eine kleine Auswahl an Modellen: DeepSeek V4.1 Flash (bei Partnern gehostet), GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B und zwei Speech-to-Text-Modelle. Tool Calling und strukturierte Ausgabe sind nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Self-Service-Konten haben kein SLA, und es gibt weder eine Batch-API noch Embeddings. Wenn eines dieser Modelle in Ihre Vorauswahl kommt, deckt das Startguthaben von $5 Gemma 4 VL 26B, beide Transcribe-Modelle und Gemma-Stundenschlüssel ab; Sie können Schritt 4 also mit Ihren eigenen Eingaben durchführen, bevor Sie bezahlen. DeepSeek, GLM und Qwen erfordern eine Aufladung. Prompts und Antworten werden nicht gespeichert. Vergleichen Sie die Modelle oder erstellen Sie ein Konto.
