Um einen LLM-API-Anbieter auszuwählen, bewerten Sie jeden Kandidaten in sechs Bereichen: die Monatskosten Ihres realen Workloads, Rate- und Parallelitätslimits, OpenAI-Kompatibilität, Bedingungen zu Datenspeicherung und Training, die benötigten Modelle sowie Support und Zuverlässigkeit. Testen Sie dann die beiden besten eine Woche lang mit echtem Traffic. Unten finden Sie 20 Fragen, einen Bewertungsbogen und den Testplan.
Wenn Sie sich entschieden haben, behandelt die Migrations-Checkliste den Wechsel selbst, und wie Sie ein LLM vor dem Wechsel evaluieren geht ausführlich auf Qualitätstests ein.
Was kostet es wirklich? (Fragen 1 bis 4)
- Was kostet mein realer Workload pro Monat? Berechnen Sie Input, gecachten Input und Output getrennt; der kostenlose LLM-API-Kostenrechner erledigt das pro Modell. Agenten senden denselben Kontext immer wieder, daher dominiert oft der gecachte Input. Unsere Erklärung der Preise geht jeden Posten durch.
- Werden Reasoning-Tokens als Output abgerechnet? Reasoning-Modelle können mehr Tokens fürs Nachdenken verbrauchen als für die Antwort.
- Gibt es eine Flatrate-Option? Für dauerhaft laufende Agenten kann ein Pauschalplan günstiger sein als die Abrechnung pro Token. Siehe die Break-even-Rechnung.
- Sind die Preise maschinenlesbar und datiert? Mit einer JSON-Preisdatei können Sie Änderungen verfolgen und Kostenalarme bauen.
Unser offener Datensatz zu kostenlosen Stufen und Rate Limits von LLM-APIs vergleicht, was 14 Anbieter über kostenlosen Zugang, Start-Rate-Limits, Kartenpflicht und Training mit Daten aus kostenlosen Stufen veröffentlichen, mit Quelle und Datum für jeden Wert.
Welche Limits erreichen Sie zuerst? (Fragen 5 bis 7)
- Wie hoch sind die Limits für Anfragen pro Minute und für Parallelität? Parallelität (gleichzeitig laufende Anfragen) ist das, was parallele Agenten und Batch-Jobs ausbremst. Siehe Rate Limits und Parallelität, und gleichen Sie Ihren Traffic mit dem Rate-Limit-Rechner gegen ein Limit ab.
- Gibt es eine Token-Obergrenze, ein rollierendes Zeitfenster oder ein Wochenkontingent? „Unbegrenzte“ Pläne haben oft eines davon. Lesen Sie was „unbegrenzt“ wirklich bedeutet.
- Wie groß ist das Kontextfenster, und wird es gekürzt? Prüfen Sie das tatsächliche Maximum pro Anfrage und ob der Anbieter lange Prompts stillschweigend abschneidet.
Wie kompatibel ist es mit Ihrem Code? (Fragen 8 bis 10)
- Ist es OpenAI-kompatibel, und wie weit? Eine Änderung der Base-URL sollte genügen. Testen Sie dann Streaming mit Usage, Tool Calls, strukturierte Ausgabe und Fehlercodes. Die Migrations-Checkliste listet auf, was bricht.
- Funktioniert es mit meinen Tools? SDKs, Agent-Frameworks, IDE-Assistenten. Prüfen Sie die Integrationsanleitungen des Anbieters.
- Sind die Modell-IDs stabil? Sie wollen versionierte IDs und eine Vorankündigung, bevor ein Modell abgeschaltet wird.
Was passiert mit Ihren Daten? (Fragen 11 bis 13)
- Werden Prompts und Ausgaben gespeichert, und wie lange? Viele Anbieter bewahren API-Inhalte standardmäßig bis zu 30 Tage auf. Vergleichen Sie die offiziellen Formulierungen in Datenspeicherung bei LLM-APIs im Vergleich.
- Werden meine Daten zum Training verwendet? Prüfen Sie die Voreinstellung für Ihre Stufe, schriftlich.
- Kann ich einen AVV (Auftragsverarbeitungsvertrag, DPA) abschließen, Unterauftragsverarbeiter einsehen und Schlüssel einschränken? Nutzen Sie die DSGVO-Checkliste, wenn Sie personenbezogene Daten aus der EU verarbeiten, und fragen Sie nach IP-Allowlists.
Hat der Anbieter die Modelle, die Sie brauchen? (Fragen 14 bis 16)
- Hat der Anbieter die Modellgrößen und Fähigkeiten, die ich brauche? Vision, Tool Calling, Reasoning, langer Kontext, Sprache.
- Wie schneidet jedes Modell bei meinen Aufgaben ab? Erstellen Sie 30 bis 50 echte Testfälle und bewerten Sie sie. Benchmarks sind ein erster Filter; wo Sie LLMs vergleichen können listet die Leaderboards auf und was jedes misst. Der Evaluationsleitfaden zeigt, wie Sie das Set aufbauen und Verzerrungen durch das bewertende Modell vermeiden.
- Open-Weight oder geschlossen? Open-Weight-Modelle können von mehreren Anbietern gehostet werden, was den Lock-in verringert. Siehe offene vs. geschlossene Modelle.
Bleibt es erreichbar, und wer antwortet? (Fragen 17 bis 20)
- Gibt es eine Statusseite und eine Störungshistorie?
- Gibt es ein schriftliches SLA für den Produktivbetrieb?
- Wer betreibt die GPUs? Eigene Hardware, eine Cloud oder weiterverkaufte Kapazität einer anderen API. Jede Variante fügt dem Daten- und Zuverlässigkeitspfad eine weitere Partei hinzu.
- Wie erreiche ich einen Menschen? Antwortzeiten, Kanäle und ob der Support Ihre Anfrageinhalte sehen kann.
Wie bewerten Sie Anbieter im Vergleich?
Bewerten Sie jede Frage mit 0 (nein oder unbekannt), 1 (teilweise) oder 2 (ja, schriftlich). Gewichten Sie die Gruppen nach Ihrem Anwendungsfall:
| Gruppe | Fragen | Gewicht für einen Agenten | Gewicht für eine regulierte Anwendung |
|---|---|---|---|
| Preise | 1 bis 4 | Hoch | Mittel |
| Limits | 5 bis 7 | Hoch | Mittel |
| Kompatibilität | 8 bis 10 | Mittel | Mittel |
| Datenschutz | 11 bis 13 | Mittel | Hoch |
| Modelle | 14 bis 16 | Hoch | Hoch |
| Support und Zuverlässigkeit | 17 bis 20 | Mittel | Hoch |
„Unbekannt“ ergibt aus gutem Grund 0 Punkte: Wenn ein Anbieter keine Antwort geben kann, können Sie sich nicht auf ihn verlassen.
Wie testen Sie einen Anbieter in einer Woche?
- Wählen Sie die beiden besten Anbieter aus dem Bewertungsbogen.
- Leiten Sie einen Teil des echten Traffics über dasselbe OpenAI-SDK an jeden der beiden, mit Modell-IDs und Base-URLs in der Konfiguration.
- Protokollieren Sie pro Anfrage: Modell, Prompt-Tokens, gecachte Tokens, Completion-Tokens, Latenz, Statuscode. Protokollieren Sie nie Inhalte.
- Erzeugen Sie Ihre Spitzenlast: Lassen Sie Ihren Batch-Job oder parallele Agenten laufen und achten Sie auf 429-Fehler. Der Leitfaden zu Fehlern und Wiederholungen zeigt korrektes Back-off.
- Multiplizieren Sie die Tokens der Woche mit etwa 4,3 und berechnen Sie den Monat für jeden Anbieter.
- Bewerten Sie die Ausgaben anhand Ihres Testsets.
Wie BroadNet Inference die Checkliste beantwortet
| Nr. | BroadNet Inference |
|---|---|
| 1, 4 | Preise pro Token veröffentlicht in pricing.json, synchronisiert 2026-11-14 |
| 3 | Pauschalpläne für DeepSeek V4.1 Flash: $60 pro Monat, $15 pro Woche oder $1 pro Stunde und Session |
| 5 | Pay-as-you-go: 30 Anfragen pro Minute, 4 gleichzeitig; Plan-Sessions verarbeiten jeweils eine Anfrage |
| 6 | Pläne: kein Token-Zähler, kein rollierendes Zeitfenster, keine Wochenobergrenze |
| 7 | Bis zu 1.048.576 Tokens bei DeepSeek V4.1 Flash und GLM 5.3; laut Planseite wird der Kontext nie gekürzt |
| 8 | OpenAI-kompatibel unter https://inference.broadnet.ai/v1 |
| 11, 12 | Keine Speicherung von Prompts oder Ausgaben; keine Verwendung für Training, Fine-Tuning oder Evaluation von Modellen |
| 13 | IP-Allowlists mit bis zu 32 Einträgen; Liste der Unterauftragsverarbeiter auf Anfrage; fragen Sie nach einem AVV (DPA) |
| 14 | Vier Chat-Modelle plus zwei Speech-to-Text-Modelle |
| 19 | Laut Datenschutzerklärung von BroadNet laufen eigene und gehostete Open-Weight-Modelle auf eigener oder geleaster US-Hardware von BroadNet, mit Partnerkapazität als Backup; über Partner bereitgestellte Modelle wie DeepSeek V4.1 Flash laufen bei US-Inferenzpartnern unter ZDR-Bedingungen |
Was wir in den Docs und auf den Planseiten von BroadNet nicht gefunden haben (geprüft am 14. November 2026): ein SLA, eine Statusseite oder eine Richtlinie zur Abkündigung von Modellen. Fragen Sie danach, wenn es Ihnen wichtig ist, und halten Sie für kritische Pfade einen zweiten Anbieter bereit. Der Katalog ist außerdem kleiner als bei einem Aggregator: Wenn Sie Modelle von GPT, Claude oder Gemini brauchen, ist BroadNet nicht der Anbieter für diesen Traffic. Das Startguthaben von $5 reicht für Schritt 3 des Testplans bei leichtem Workload, aber von den Chat-Modellen deckt es nur Gemma 4 VL 26B ab (außerdem die beiden Transcribe-Modelle); die anderen Chat-Modelle erfordern eine Aufladung.

