BroadRouter
Loslegen

BroadRouter-Blog

Aktualisiert

Artikel des Teams von BroadNet Inference zum Betrieb von LLMs und Speech-to-Text in Produktion: was Pläne mit Festpreis im Vergleich zur Abrechnung pro Token kosten, wie Sie Agenten parallel betreiben, arabische KI und Datenaufbewahrung. Jeder Preis stammt aus der veröffentlichten Preisdatei von BroadNet.

Datenschutz

  1. · 7 Min. Lesezeit

    Ägyptens Datenschutzgesetz (Gesetz 151 von 2020) und LLM-APIs

    Personenbezogene Daten aus Ägypten an eine LLM- oder Speech-to-Text-API im Ausland senden: Gesetz 151/2020 und Beschluss 816/2025 zu Transfers, Lizenzen, Pannen.

  2. · 3 Min. Lesezeit

    Die Safety Map: Wie 39 LLMs mit sensiblen Daten umgehen

    BroadNet hat 39 LLMs von 14 Labs zu Zugangsdaten, PII, Gesundheits- und Finanzdaten geprüft: was sich übertrug, was nicht, und Lecks über Tool Calls und Reasoning.

  3. · 3 Min. Lesezeit

    LLM auf Sicherheit bei sensiblen Daten testen: BroadNets Methode

    Die veröffentlichte Methode von BroadNet, um vor dem Deployment zu testen, ob ein LLM Zugangsdaten, PII, Gesundheits- oder Finanzdaten leakt: Kategorien, 3+ Läufe.

  4. · 8 Min. Lesezeit

    PDPL in Saudi-Arabien und den VAE: Checkliste für LLM-API-Transfers

    Personenbezogene Daten aus Saudi-Arabien oder den VAE an eine LLM-API senden: Transferregeln der PDPL, Fragen an den Anbieter, wann Inferenz im Land zählt.

  5. · 6 Min. Lesezeit

    Datenspeicherung bei LLM-APIs: OpenAI, Anthropic, Gemini, Mistral

    Was OpenAI, Anthropic, Gemini API, Mistral und BroadNet offiziell zur Speicherung von API-Prompts und zum Training damit sagen, zitiert nach Stand November 2026.

  6. · 5 Min. Lesezeit

    DSGVO und LLM-APIs: 15 Fragen an Ihren Anbieter

    DSGVO-Checkliste für LLM-APIs: AVV, Unterauftragsverarbeiter, Speicherung, Training, Drittlandübermittlung und Meldung von Datenpannen, mit den Artikeln dazu.

  7. · 5 Min. Lesezeit

    LLM-API mit Zero Data Retention: Checkliste mit 10 Fragen

    Was „Zero Data Retention“ bei einer LLM-API heißen sollte: Prompts, Outputs, Logs, Training, Unterauftragnehmer, Audits. Zehn Fragen, bevor Sie Daten senden.

  8. · 5 Min. Lesezeit

    Sensible Daten an LLM-APIs: schwärzen, minimieren, weniger loggen

    So senden Sie Kunden-, Gesundheits- oder Finanzdaten sicher an eine LLM-API: Felder einstufen, umkehrbar pseudonymisieren, Zero Retention nutzen, Logs sauber halten.

Vergleiche

  1. · 7 Min. Lesezeit

    Alternativen zu Artificial Analysis: LLMs vergleichen im Jahr 2026

    Alternativen zu Artificial Analysis im Vergleich: Arena, Epoch AI, Vals AI, OpenRouter-Rankings, Hugging Face und Preisdaten, nach Messgröße und Einsatzzweck.

  2. · 7 Min. Lesezeit

    Gleiches Modell, anderer Anbieter: Wie stark LLM-API-Preise schwanken

    Bei 119 Modellen mit mehreren Hosts liegt der teuerste Listenpreis im Median beim 1,76-Fachen des günstigsten. Daten von 41 Preisseiten der Anbieter, November 2026.

  3. · 7 Min. Lesezeit

    Live, auf Anfrage, Forschung: einen Modellkatalog richtig lesen

    Welche Katalogmodelle Sie heute aufrufen können, welche eine Anfrage brauchen und welche nur getestet wurden, am Beispiel des BroadNet-Katalogs und /v1/models.

  4. · 7 Min. Lesezeit

    LLM-API-SLAs: was Azure, Bedrock, Google und OpenAI zusagen

    Was jeder LLM-API-Anbieter schriftlich zusagt: Verfügbarkeit in Prozent, was als Ausfall zählt, Service-Gutschriften und Latenzziele, direkt aus den SLA-Seiten.

  5. · 12 Min. Lesezeit

    Preisverlauf der APIs von OpenAI, Anthropic und Google, 2023–2026

    API-Preise von GPT, Claude und Gemini im Vergleich, aus archivierten Preisseiten 2023 bis 2026: welche Reihen billiger, welche teurer wurden, mit Archiv-Links.

  6. · 4 Min. Lesezeit

    Welche Modelle BroadNet getestet und aussortiert hat, und warum

    BroadNet veröffentlicht getestete, abgelehnte Modelle mit Gründen: Chat-Modelle, die am Credential-Safety-Test scheiterten, plus Sprach-, OCR- und Embedding-Modelle.

  7. · 6 Min. Lesezeit

    Alternative zur Whisper API: wann wechseln und wie testen

    Wann sich eine gehostete Alternative zur OpenAI Whisper API lohnt: Wortfehlerrate auf Ihrem Audio, Sprachen, Preis pro Stunde, Limits, Datenschutz, mit Testcode.

  8. · 5 Min. Lesezeit

    Cline vs. Roo Code vs. Aider für Teams mit offenen Modellen (2026)

    Cline, Roo Code (archiviert, fortgeführt als Zoo Code) und Aider im Vergleich: Tool Calls, Kontextverbrauch, MCP, Git und Freigaben mit offenen Modellen.

  9. · 6 Min. Lesezeit

    DeepSeek-API-Alternativen: 5 Wege, DeepSeek-Modelle zu nutzen

    DeepSeek über die offizielle API, einen Aggregator, einen Cloud-Katalog, eigene GPUs oder BroadNet Inference: Vor- und Nachteile bei Preis, Datenschutz, Limits.

  10. · 5 Min. Lesezeit

    GLM 5.3 vs. DeepSeek V4.1 Flash: welches Modell wann?

    GLM 5.3 vs. DeepSeek V4.1 Flash im Vergleich: Preis, Kontext, Tools, Structured Output, Bilder und Reasoning, mit Kostenbeispielen und einer einfachen Faustregel.

  11. · 5 Min. Lesezeit

    LLM selbst hosten oder API: echte Kosten und Break-even

    GPU-Mietpreise von offiziellen Seiten, die Formel für Kosten pro 1 Mio. Tokens auf eigener GPU, die nötige Auslastung gegen eine API und vergessene Betriebskosten.

  12. · 5 Min. Lesezeit

    LLM-API-Anbieter auswählen: Checkliste mit 20 Punkten

    Zwanzig Fragen vor der Wahl einer LLM-API: Preise, Limits, OpenAI-Kompatibilität, Datenschutz, Modelle, Support und Verfügbarkeit, mit Bewertungsbogen und Testplan.

  13. · 7 Min. Lesezeit

    LLM-API-Preise für Open-Weight-Modelle: 6 Anbieter im Vergleich

    Wie OpenRouter, Together AI, Fireworks, Groq, DeepInfra und BroadNet offene Modelle abrechnen: pro Token, gecacht, Batch, GPU-Stunden und Flatrate, mit Quellen.

  14. · 4 Min. Lesezeit

    Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko

    Open-Weight- oder geschlossene LLMs fürs Unternehmen? Kosten, Kontrolle, Datenschutz, Qualitätsabstand und Lock-in im Vergleich, dazu drei Wege zum Betrieb.

  15. · 5 Min. Lesezeit

    OpenRouter oder Flatrate für KI-Agenten: Was kostet weniger?

    OpenRouter rechnet pro Token plus Gebühr auf Guthaben ab, eine Flatrate pro Session. Die Kostenrechnung für Dauer-Agenten, Gebühren, Limits und was wozu passt.

  16. · 7 Min. Lesezeit

    Speech-to-Text-API-Preise im Vergleich: Preis pro Minute 2026

    Preise pro Minute und pro 1.000 Stunden für OpenAI, Google, AWS, Deepgram, AssemblyAI, Speechmatics, Groq und BroadNet Transcribe, plus Zusatzfunktionen.

Preise

  1. · 9 Min. Lesezeit

    API-Kosten: Open-Weight- vs. geschlossene Modelle laut Preisdaten

    Sind Open-Weight-Modelle per API günstiger als GPT, Claude oder Gemini? Preise pro Token von den Anbieterseiten, Spannen zwischen Hosts und Kosten pro Nutzer.

  2. · 8 Min. Lesezeit

    LLM-API-Kosten senken: eine Checkliste in 10 Schritten, in Reihenfolge

    LLM-API-Kosten in der richtigen Reihenfolge senken: messen, Präfix cachen, Prompts kürzen, Output und Reasoning deckeln, Modell anpassen, Batch, Flatrate.

  3. · 8 Min. Lesezeit

    Preissenkungen bei LLM-APIs 2023–2026: die größten, mit Quellen

    Die größten Preissenkungen bei LLM-APIs 2023 bis 2026, jeweils mit Archiv-Links vorher und nachher: o3, Codestral, Gemini 1.5 und die kaum bemerkten Erhöhungen.

  4. · 12 Min. Lesezeit

    Sinken LLM-API-Preise nur? 52 Preiserhöhungen und wie Sie planen

    LLM-API-Preise steigen auch. In archivierten Preisseiten fanden wir 52 Erhöhungen für dasselbe Modell, 2024 bis 2026, im Median 40 %. Mit Quellen und Budgetregel.

  5. · 7 Min. Lesezeit

    Wie oft ändern sich LLM-API-Preise? 3 Jahre archivierte Preisseiten

    308 archivierte Preisseiten von 11 LLM-API-Anbietern, 2023 bis 2026: 80 % der Modelle blieben im Preis gleich; 75 % aller Änderungen kamen von DeepInfra.

  6. · 6 Min. Lesezeit

    Coding-Agent-Kosten senken: 10 Wege mit geschätzter Ersparnis

    Zehn konkrete Wege, wie Cline, Aider, opencode oder Ihr eigener Coding-Agent weniger Tokens verbraucht, jeweils mit Rechnung zur Ersparnis und zur Messung.

  7. · 5 Min. Lesezeit

    DeepSeek V4.1 Flash API Preise: pro Token, gecacht und Flatrate

    DeepSeek V4.1 Flash API Preise pro 1 Mio. Input-, gecachter und Output-Tokens, Flatrate pro Monat, Woche oder Stunde, Vergleich mit DeepSeek, DeepInfra, Fireworks.

  8. · 5 Min. Lesezeit

    Gecachte Input-Tokens: So senken Sie die Rechnung Ihrer LLM-API

    Gecachter Input kostet einen Bruchteil von normalem Input. Wie Prompt Caching abgerechnet wird, wie Sie cached_tokens lesen und Prompts dafür aufbauen.

  9. · 5 Min. Lesezeit

    Günstigste Vision-LLM-API: Kosten pro Bild und pro Seite berechnet

    Was ein Vision-LLM-Aufruf pro Bild und pro Dokumentseite kostet: Token-Rechnung für Gemma 4, Qwen3.8 27B und DeepSeek V4.1 Flash, und wo DeepInfra günstiger ist.

  10. · 6 Min. Lesezeit

    Kostenloses LLM-API-Guthaben: Wie weit Startguthaben wirklich reicht

    Was kostenloses LLM-API-Guthaben bringt: Tokens, Audiominuten und Stundenschlüssel mit dem Startguthaben von BroadNet, verglichen mit Gemini und OpenRouter.

  11. · 5 Min. Lesezeit

    LLM-API-Kosten kontrollieren: Budgets, Key-Limits und Loop-Schutz

    So läuft Ihre LLM-API-Rechnung nicht aus dem Ruder: Prepaid-Guthaben, ein Schlüssel pro App, IP-Allowlists, Logging, Budgets im Code, Loop-Limits und Festpreise.

  12. · 6 Min. Lesezeit

    LLM-API-Kosten vor dem Launch eines Features schätzen

    Ein Kostenmodell für ein neues KI-Feature: Nutzer × Aktionen × Aufrufe × Tokens, mit Cache, Reasoning, Retries, Rate Limits und einer Beispieltabelle pro Monat.

  13. · 6 Min. Lesezeit

    LLM-API-Preise erklärt: Input, gecachter Input, Output und Reasoning

    So funktionieren LLM-API-Preise pro Token: Input, gecachter Input, Output, Reasoning-Tokens, Bilder und Audio pro Minute, mit Rechenbeispielen aus einer Preisliste.

  14. · 5 Min. Lesezeit

    LLM-API-Schlüssel pro Stunde: der Stunden-Festpreis erklärt

    Der Stundenschlüssel von BroadNet: eine Stunde Gemma 4 VL 26B auf einem Stream zum Festpreis. Inhalt, Limits, Zielgruppe und wann er sich lohnt.

  15. · 8 Min. Lesezeit

    LLM-API: Flatrate oder Abrechnung pro Token? Die Break-even-Rechnung

    Wann lohnt sich eine LLM-Flatrate statt Abrechnung pro Token? Vier Monatsrechnungen für DeepSeek V4.1 Flash, das Break-even-Volumen und wie Sie selbst messen.

  16. · 6 Min. Lesezeit

    LLM-Kosten pro Nutzer: Unit Economics für ein KI-Feature in SaaS

    Berechnen Sie, was ein KI-Feature pro aktivem Nutzer und Monat kostet, warum Vielnutzer mehr zählen als Durchschnitte und wie Sie Tarife kostendeckend kalkulieren.

  17. · 5 Min. Lesezeit

    LLM-Wochenplan für kurze Projekte: Orbit vs. Stunde vs. Monat

    Wann eine Woche unbegrenzt DeepSeek V4.1 Flash besser ist als Stunden-Session, Monatsplan oder Token-Abrechnung: Rechnung für Hackathons, Sprints, Migrationen.

  18. · 4 Min. Lesezeit

    Reasoning-Tokens: Warum Sie mehr Output zahlen, als Sie sehen

    Reasoning-Modelle rechnen verstecktes Denken als Output ab. Wie Sie es messen, was es pro Modell kostet und wie reasoning_effort, max_tokens und Routing es senken.

  19. · 6 Min. Lesezeit

    Tokens pro Wort, Arabisch vs. Englisch: Warum Arabisch mehr kostet

    Warum Arabisch für denselben Inhalt oft mehr LLM-Tokens braucht als Englisch, warum Tokens pro Wort täuschen, und ein Skript, das Ihr Verhältnis aus usage misst.

Arabische KI

  1. · 7 Min. Lesezeit

    App-Strings per LLM ins Arabische übersetzen: Platzhalter und Plurale

    i18n-JSON-Dateien per LLM-API ins Arabische übersetzen: Platzhalter einfrieren, alle sechs arabischen Pluralformen erzeugen, ICU in CI prüfen, Namen isolieren.

  2. · 6 Min. Lesezeit

    Arabische Besprechungsprotokolle aus Aufnahmen: eine API-Pipeline

    Arabische Meeting-Aufnahmen werden zu Protokollen mit Beschlüssen und Aufgaben: transkribieren, bereinigen, per LLM als JSON zusammenfassen, Namen und Daten prüfen.

  3. · 8 Min. Lesezeit

    Arabische Grammatik- und Rechtschreibkorrektur per LLM: Anleitung

    Arabische Rechtschreibung und Grammatik per LLM-API korrigieren: Prompt mit minimalen Änderungen, Schutz vor Umformulierung, Edits nach Fehlerklasse, M2-Bewertung.

  4. · 7 Min. Lesezeit

    Arabische Named Entity Extraction mit LLM: JSON, Daten, Prüfungen

    Arabische Namen, Organisationen, Orte und Hidschri-Daten per LLM als JSON extrahieren: Prompt, Span-Prüfung ohne Diakritika, Datumsumrechnung und Bewertungsskript.

  5. · 7 Min. Lesezeit

    Arabische Texte mit LLM zusammenfassen: Prompts, Länge, Bewertung

    Arabische Artikel, Berichte und Dialektnachrichten per LLM-API zusammenfassen: Prompt-Muster, Wortzahl, Zahlenprüfung und warum ROUGE für Arabisch 0 liefert.

  6. · 7 Min. Lesezeit

    Arabische Textklassifikation mit LLM: Sentiment, Intent, Triage

    Arabische Bewertungen, Nachrichten und Tickets per LLM-API klassifizieren: Labels, dialektbewusster Prompt, JSON-Ausgabe, Test mit Macro-F1, Kosten bei Volumen.

  7. · 7 Min. Lesezeit

    Arabische Textnormalisierung für Suche und RAG: was ändern, was nicht

    Taschkil, Alif-Formen, Taa marbuta, Hamza-Träger, persische Buchstaben, Ziffern, Unicode: welche Regeln der Suche helfen, welche schaden, mit getestetem Python.

  8. · 7 Min. Lesezeit

    Arabische Untertitel (SRT) per Speech-to-Text-API: was Sie brauchen

    Was eine SRT-Datei braucht, welche Speech-to-Text-APIs Zeitstempel oder SRT für Arabisch liefern, und eine getestete Pipeline für Untertitel aus einer Text-API.

  9. · 8 Min. Lesezeit

    Arabischen Text per LLM vokalisieren: Prompt, Prüfung, DER

    Arabische Diakritika (Taschkil) per LLM-API ergänzen: ein Prompt, der jeden Buchstaben erhält, eine Prüfung gegen Änderungen, DER/WER und wann CATT passt.

  10. · 8 Min. Lesezeit

    Arabisches Audio per API ins Englische übersetzen: getestete Pipeline

    Arabische Aufnahmen mit zwei API-Aufrufen in englischen Text verwandeln: mit language=ar transkribieren, per LLM übersetzen, mit Zahlenprüfung, Kosten und Bewertung.

  11. · 7 Min. Lesezeit

    Mehrsprachige KI-Produkte gestalten: Arabisch, Englisch, Spanisch

    KI-Produkt für Arabisch, Englisch und Spanisch gestalten: UI-Locale vs. Modellsprache, RTL und gemischter Text, Zahlen, Datumsangaben, Erkennung, Kosten.

  12. · 8 Min. Lesezeit

    OCR-APIs für Arabisch: Google, Azure, Textract, Mistral, LLMs

    Welche OCR-APIs Arabisch offiziell unterstützen, gedruckt und handschriftlich, was sie liefern und was 1.000 Seiten kosten, im Vergleich mit Vision-LLM-APIs.

  13. · 5 Min. Lesezeit

    Arabische OCR vs. Vision-LLM: Dokumente und Rechnungen lesen

    Wann klassische OCR, wann ein Vision-LLM für arabische Rechnungen, Belege und Formulare: Fehlerfallen, JSON-Ausgabe, Kosten pro Seite und eine Validierungspipeline.

  14. · 5 Min. Lesezeit

    Arabischer WhatsApp-Chatbot: von der Sprachnachricht zur Antwort

    Eine funktionierende Architektur für einen arabischen WhatsApp-Assistenten: Webhook, Queue, Transkription, LLM-Antwort, Richtlinien und Kosten, mit Python-Code.

  15. · 5 Min. Lesezeit

    Arabizi und LLMs: Franco-Arabisch mit Ziffern wie 3 und 7 verarbeiten

    Arabizi: Arabisch in lateinischen Buchstaben, mit 3 für ع und 7 für ح. So erkennen Sie es, wandeln es per LLM in arabische Schrift um und antworten richtig.

  16. · 4 Min. Lesezeit

    Callcenter-Aufzeichnungen transkribieren: Pipeline, auch für Arabisch

    Stereo-Anrufe nach Kanal trennen, Sprechbeiträge schneiden, Arabisch und Englisch transkribieren, PII schwärzen, per LLM zusammenfassen. Python-Pipeline mit Kosten.

  17. · 6 Min. Lesezeit

    Golf-, ägyptisches und levantinisches Arabisch: Dialekte in LLMs

    Wie LLMs mit Golf-, ägyptischem und levantinischem Arabisch umgehen: wo sie scheitern, wie Sie für Dialekt prompten und testen, was BroadNet zu Qwen3.8 27B meldet.

  18. · 7 Min. Lesezeit

    LLM-API für Arabisch auswählen: Was Sie testen sollten

    So wählen Sie ein LLM für arabische Apps: Dialektverständnis, Schreibqualität, Übersetzung, arabische Dokumente und Bilder, Kosten und ein Testset an einem Tag.

  19. · 6 Min. Lesezeit

    Mehrsprachige Speech-to-Text API: 14 Sprachen, ein Endpoint

    Englisch, Spanisch, Französisch, Chinesisch, Arabisch und 9 weitere Sprachen über einen OpenAI-kompatiblen Endpoint transkribieren, pro Minute abgerechnet.

  20. · 5 Min. Lesezeit

    Prompt Engineering auf Arabisch: Register, RTL, Ziffern, Mischtext

    Prompts, die gutes Arabisch aus einem LLM holen: Register und Dialekt wählen, Ziffern und Daten steuern, RTL sauber formatieren, Arabisch-Englisch-Mischung regeln.

  21. · 6 Min. Lesezeit

    RAG auf Arabisch: Normalisierung, Chunking und Retrieval, die wirken

    Retrieval-Augmented Generation mit arabischen Dokumenten: Alef, Ya und Ta marbuta normalisieren, sinnvoll chunken, mehrsprachige Embeddings, Stichwortsuche.

  22. · 7 Min. Lesezeit

    Speech-to-Text-API für Arabisch: So wählen Sie 2026 die richtige

    So wählen Sie eine Transkriptions-API für Arabisch: Wortfehlerrate, Dialekte, Dateilimits, Preis pro Audiostunde, Datenschutz und ein Testplan für eigene Aufnahmen.

  23. · 5 Min. Lesezeit

    Spracherkennung arabischer Dialekte: Golf, Ägypten, Levante, Maghreb

    Warum Speech-to-Text an Golf-, ägyptischem, levantinischem und maghrebinischem Arabisch scheitert und wie ein Dialekt-Testset Anbieter vergleichbar macht.

  24. · 4 Min. Lesezeit

    Sprachnachrichten in Text für Firmen: WhatsApp und Telegram zu Tickets

    Sprachnachrichten aus WhatsApp Business und Telegram-Bots in Transkripte und Support-Tickets verwandeln: herunterladen, transkribieren, Felder per LLM extrahieren.

  25. · 5 Min. Lesezeit

    Übersetzung Arabisch–Englisch mit LLMs: Prompts, Glossare, Bewertung

    Arabisch ins Englische und zurück per LLM-API übersetzen: Prompts, die den Ton halten, Glossare für feste Begriffe, Zahlen und Namen, und wie Sie Qualität bewerten.

  26. · 5 Min. Lesezeit

    Wortfehlerrate (WER) bei arabischer Spracherkennung erklärt

    Was die Wortfehlerrate bedeutet, wie man sie berechnet und warum arabische WER so stark auf Diakritika, Schreibnormalisierung und Dialekte reagiert. Mit Python.

Technik

  1. · 6 Min. Lesezeit

    Audio im Browser aufnehmen und an eine Speech-to-Text API senden

    Mikrofon mit MediaRecorder aufnehmen, WebM oder Safari-MP4 in 16-kHz-WAV umwandeln und über einen kleinen Server, der den Schlüssel hält, transkribieren.

  2. · 6 Min. Lesezeit

    Audio über 25 MB transkribieren: aufteilen, senden, zusammenfügen

    So transkribieren Sie Aufnahmen über dem Dateilimit einer Speech-to-Text API: Datei verkleinern, an Pausen mit ffmpeg teilen, parallel senden, Text zusammenfügen.

  3. · 6 Min. Lesezeit

    Basis-URLs OpenAI-kompatibler APIs: 14 Anbieter geprüft

    Die base_url von 14 OpenAI-kompatiblen LLM-APIs, jeweils aus der Doku des Anbieters, mit den gelisteten Endpoints und Eigenheiten, die einen Wechsel stören.

  4. · 7 Min. Lesezeit

    Ein privater Endpoint beginnt mit einem klar definierten Workload

    Was Sie vor der Anfrage nach einem privaten LLM-Endpoint festlegen sollten: Workload, Tokens pro Sekunde, Parallelität, Kontext, Region, Lizenz, Budget und Test.

  5. · 5 Min. Lesezeit

    GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt

    Was BroadNet über die Hardware hinter BroadNet Inference sagt: drei GPU-Stufen von B300 bis Kunden-Appliance, Durchsatz pro GPU und Erkenntnisse aus den Tests.

  6. · 8 Min. Lesezeit

    LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python

    Ein getesteter Exact-Match-Cache für LLM-API-Antworten in Python: was in den Schlüssel gehört, was nie, TTLs, Datenschutz und wie Sie die Trefferquote vorab messen.

  7. · 8 Min. Lesezeit

    LLM-API-Failover: im eigenen Code auf einen Zweitanbieter umschalten

    Failover zwischen OpenAI-kompatiblen LLM-Anbietern: bei welchen Fehlern umschalten, Circuit Breaker, Modell-IDs, Streaming, Kosten und gleicher Datenschutz.

  8. · 8 Min. Lesezeit

    LLM-Batch-Verarbeitung ohne Batch API: ein fortsetzbarer Runner

    10.000 bis 1.000.000 Prompts über eine Chat-Completions-API ohne Batch API: Parallelitätslimits, Taktung, Retries, fortsetzbare Checkpoints und die Zeitrechnung.

  9. · 6 Min. Lesezeit

    max_tokens für Reasoning-Modelle festlegen: eine Budgetmethode

    Warum Reasoning-Modelle bei kleinem max_tokens leer antworten und wie Sie das Budget aus Perzentilen, Kontextfenster und eskalierendem Retry bemessen.

  10. · 7 Min. Lesezeit

    Menschliche Prüfung als festen Teil Ihres Dokumenten-KI-Workflows

    Den menschlichen Prüfschritt einer Dokumenten-KI-Pipeline planen: Validierungsregeln, was ein Mensch sieht, Zufallsstichproben, Audit-Trail und Prüfquote.

  11. · 7 Min. Lesezeit

    Prompt-Tokens reduzieren: gemessene Effekte bei Prompts, Tools, Daten

    Gemessene Token-Ersparnis durch kürzere System-Prompts, Few-Shot-Beispiele, Tool-Schemas, Datenformate, Chat-Verlauf und arabische Diakritika, mit echten Tokenizern.

  12. · 7 Min. Lesezeit

    RAG-Chunk-Größe und Overlap: Wirkung auf Retrieval und Kosten

    Wie Chunk-Größe und Overlap Recall, Indexgröße, Embedding-Kosten und die Tokens pro LLM-Anfrage verändern, mit veröffentlichten Ergebnissen und Rechenbeispielen.

  13. · 8 Min. Lesezeit

    Rate Limits von LLM-APIs nach Anbieter: RPM, TPM und Parallelität

    Rate Limits der Einstiegsstufen von 13 LLM-API-Anbietern laut eigener Doku: OpenAI, Anthropic, Gemini, Groq, DeepSeek, Fireworks u. a., plus was RPM und TPM heißt.

  14. · 7 Min. Lesezeit

    Text, Sprache oder Vision? Beginnen Sie mit der Aufgabe

    Text-Chat, Bild-Input oder Audiotranskription nach Aufgabe wählen, mit den Modellen und Limits, die BroadNet dokumentiert, und was fehlt, etwa Text-to-Speech.

  15. · 7 Min. Lesezeit

    Ungültiges JSON vom LLM reparieren: Ursachen, Reparatur, Retry

    Warum LLMs kaputtes JSON liefern (Code-Fences, Fließtext, Abbruch bei max_tokens, Kommas) und eine getestete Python-Funktion, die nur Eindeutiges repariert.

  16. · 3 Min. Lesezeit

    Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet

    BroadNet hat den ersten Uno-Self-Drafting-Adapter für ein Mixture-of-Experts-Modell trainiert, Gemma 4 26B A4B. Messungen, Nutzen von Self-Drafting und DOI.

  17. · 4 Min. Lesezeit

    Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat

    BroadNet hat den Uno-Self-Drafting-Adapter in vLLM eingebaut und auf einer H100 gemessen: 2,58x Durchsatz bei einem Stream, 1,74x bei 32. Methode, DOI, Grenzen.

  18. · 7 Min. Lesezeit

    Vor dem Fine-Tuning: das Problem klar benennen

    Wann Prompting, RAG oder Evaluierung das Problem lösen und Fine-Tuning unnötig ist, welche Trainingsdaten Sie brauchen und wie Sie ein Fine-Tuning vorab testen.

  19. · 6 Min. Lesezeit

    Weg von der OpenAI API: Migration mit Code in Python, Node, cURL

    Die Code-Änderungen für den Wechsel von OpenAI zu einer OpenAI-kompatiblen API: Client, Responses zu Chat Completions, Tools, Streaming, Embeddings, Smoke-Test.

  20. · 4 Min. Lesezeit

    JSON Mode vs. json_schema: strukturierte Ausgabe, die hält

    JSON Mode liefert gültiges JSON, json_schema Ihre Struktur. So fordern Sie beides bei OpenAI-kompatiblen Modellen an, validieren mit Pydantic und reparieren Fehler.

  21. · 5 Min. Lesezeit

    LLM-API-Fehler 429 behandeln: Backoff, Jitter und Limiter

    429 vs. 5xx, exponentielles Backoff mit Full Jitter, Parallelitätslimiter und Warteschlangen für LLM-APIs, mit Python- und Node-Code für die Produktion.

  22. · 4 Min. Lesezeit

    LLM-API-Nutzung loggen: Kosten pro Nutzer und Feature, ohne PII

    Jeden LLM-API-Aufruf mit Tokens, Kosten, Latenz und Request-ID loggen, Ausgaben Nutzern und Features zuordnen und PII vor dem Schreiben schwärzen. Mit Python-Code.

  23. · 6 Min. Lesezeit

    LLM-API-Schlüssel absichern: Speicherung, Rotation, IP-Allowlists

    LLM-API-Schlüssel aus Code und Logs fernhalten, ein Schlüssel pro Workload, planmäßig rotieren, an Server-IPs binden und ein Leck in Sekunden widerrufen.

  24. · 4 Min. Lesezeit

    LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit

    Was Time to First Token, Tokens pro Sekunde und End-to-End-Latenz messen, wie Sie jede im Client mit Code messen und welche Maßnahme welche Zahl verbessert.

  25. · 4 Min. Lesezeit

    LLM-Streaming erklärt: SSE-Chunks, Deltas, Usage und Abbruch

    Wie Streaming von Chat Completions auf der Leitung funktioniert, wie Sie die Antwort aus Deltas zusammensetzen, Usage lesen und sauber abbrechen: Python, Node, curl.

  26. · 5 Min. Lesezeit

    Long Context vs. RAG: Wann 1M Tokens die Vektordatenbank ersetzen

    Wann ein Kontextfenster mit 1M Tokens eine Vektordatenbank ersetzt und wann RAG gewinnt: Vergleich nach Kosten pro Anfrage, Latenz, Recall und Wartung.

  27. · 4 Min. Lesezeit

    Prompts so strukturieren, dass das Präfix gecacht wird

    So bauen Sie LLM-Prompts auf, damit das gecachte Präfix identisch bleibt: System-Prompt, Tool-Schemas, Dokumente, nur ergänzter Verlauf, plus ein Test als Beweis.

  28. · 4 Min. Lesezeit

    Rechnungs-, Beleg- und Formulardaten mit einem Vision-LLM als JSON

    Eine Produktions-Pipeline für Rechnungen, Belege und Formulare: Bildvorbereitung, JSON-Prompt, Pydantic-Validierung, Rechenprüfungen, Retries und manuelle Prüfung.

  29. · 5 Min. Lesezeit

    Tokens zählen, bevor Sie eine LLM-Anfrage senden

    Prompt-Tokens je Sprache und Modell vor dem API-Aufruf schätzen: warum Tokenizer abweichen, Messwerte in fünf Sprachen und sichere Puffer für max_tokens.

  30. · 4 Min. Lesezeit

    Tool Calling mit offenen Modellen: Schemas, parallele Aufrufe, Retries

    Function Calling mit OpenAI-kompatiblen offenen Modellen: Schema-Tipps, parallele Tool Calls, fünf typische Fehler, eine Python-Schleife mit Validierung und Retry.

  31. · 4 Min. Lesezeit

    Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)

    Was in 1.048.576 Tokens passt, was es bei DeepSeek V4.1 Flash kostet, wie Reasoning und Caching die Rechnung ändern und wann RAG weiterhin die bessere Wahl ist.

  32. · 5 Min. Lesezeit

    Wechsel zu einer OpenAI-kompatiblen API: die Migrations-Checkliste

    base_url zu ändern ist der leichte Teil. Modell-IDs, Reasoning-Tokens, Usage im Stream, Fehler, Rate Limits und Schlüssel gehen kaputt. Checkliste mit Code.

  33. · 5 Min. Lesezeit

    Wie Sie ein LLM vor dem Anbieterwechsel evaluieren

    Bauen Sie aus echtem Traffic ein kleines Eval-Set, bewerten Sie es mit Code-Checks und einem entzerrten LLM-Judge und vergleichen Sie Qualität, Kosten und Latenz.

Agenten

  1. · 6 Min. Lesezeit

    Claude Code mit offenen Modellen: Proxys, native Endpoints, Grenzen

    Claude Code spricht die Anthropic Messages API. So betreiben Sie es mit offenen Modellen über einen LiteLLM-Proxy oder einen nativen Endpoint, und was dabei hakt.

  2. · 7 Min. Lesezeit

    Kosten eines KI-Coding-Agent-Laufs: Schritte, Kontext, Caching

    Warum ein Coding-Agent pro Schritt teurer wird, je länger er läuft, wie Caching die Summe ändert und wann eine Flatrate-Session gewinnt. Mit Token-Rechnung.

  3. · 6 Min. Lesezeit

    OpenClaw und Hermes Agent mit günstigem Modell: Setup und Kosten

    OpenClaw oder Hermes Agent an einen OpenAI-kompatiblen Endpunkt anbinden, verstehen, warum geplante Checks Tokens fressen, und mit weniger Kontext Kosten senken.

  4. · 8 Min. Lesezeit

    Prompt Injection bei Coding-Agenten: Schutzmaßnahmen, die halten

    Wo Prompt Injection einen Coding-Agent erreicht und welche Schutzschichten Anbieter und Forschung dokumentieren: Sandbox, Egress-Sperre, Allowlists, Freigaben.

  5. · 5 Min. Lesezeit

    Agenten-Token-Budget: wohin die Tokens einer Agenten-Schleife gehen

    System-Prompt, Tool-Schemas, gelesene Dateien, Verlauf, Reasoning: wie eine Agenten-Schleife Tokens verbraucht, wie Sie jeden Teil messen und was Sie zuerst kürzen.

  6. · 6 Min. Lesezeit

    Bestes LLM für Aider: Modell auswählen und verbinden

    Das beste LLM für Aider finden: Disziplin beim Edit-Format, Kontextgröße, Kosten pro Stunde, ein einstündiger Test im eigenen Repo und das OPENAI_API_BASE-Setup.

  7. · 6 Min. Lesezeit

    Bestes offenes Modell für Coding-Agenten: Tools, Kontext und Kosten

    GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B oder Gemma 4 für Ihren Coding-Agenten? Wählen Sie nach Tool Calling, Kontext, Reasoning und Kosten pro Aufgabe.

  8. · 5 Min. Lesezeit

    Coding-Agenten sicher und unbeaufsichtigt über Nacht laufen lassen

    Ein praktisches Setup für unbeaufsichtigte Läufe von Coding-Agenten: Sandbox, Git-Checkpoints, Task-Dateien, Schrittlimits, Review am Morgen und Flatrate-Sessions.

  9. · 6 Min. Lesezeit

    Kontextmanagement für lang laufende Agenten mit 1M-Kontextfenster

    So bleiben lange Agenten-Sessions mit 1M-Token-Fenster genau und bezahlbar: Append-only-Verlauf, cachefreundliche Prompts, Kompaktierung und was zuerst wegfällt.

  10. · 4 Min. Lesezeit

    Lang laufende Agenten: Timeouts, Retries und Checkpoints, die halten

    LLM-Agenten stundenlang am Laufen halten: Timeout pro Aufruf, Streaming gegen Hänger, sichere Retries, idempotente Tool-Aktionen, Checkpoint nach jedem Schritt.

  11. · 4 Min. Lesezeit

    MCP-Server mit OpenAI-kompatiblen Modellen nutzen (jeder Anbieter)

    MCP funktioniert mit jedem LLM: Der Client macht aus MCP-Tools Function Calls. So nutzen Sie MCP mit offenen Modellen in Cline, Continue, opencode, n8n oder Python.

  12. · 5 Min. Lesezeit

    n8n AI Agent mit günstigem LLM: Setup, Modellwahl, Kosten pro Lauf

    n8n-AI-Agent-Workflows auf einem günstigen OpenAI-kompatiblen Modell: welches Modell für Tools, welche Einstellungen Tokens sparen, Kosten pro 10.000 Läufe.

  13. · 4 Min. Lesezeit

    Offene Modelle in Coding-Agenten: Aider, Cline, opencode, Codex

    So verbinden Sie Aider, Cline, Roo Code, opencode, Continue und Codex CLI mit einem OpenAI-kompatiblen Endpoint: die genauen Feldnamen und die Fallstricke.

  14. · 5 Min. Lesezeit

    Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben

    Sub-Agenten, Orchestratoren und Batch-Worker auf unbegrenztem DeepSeek V4.1 Flash: Zahl der Sessions, Verteilung auf Schlüssel, Überlappung begrenzen.

  15. · 7 Min. Lesezeit

    Was „unbegrenzt“ bei einem LLM-API-Plan wirklich bedeutet

    Token-Zähler, 5-Stunden-Fenster, Wochenlimits, Rate Limits, Parallelität: Sieben Fragen zeigen, ob ein „unbegrenzter“ KI-Plan für Ihren Agenten unbegrenzt ist.

  16. · 4 Min. Lesezeit

    Was Multi-Agenten-Setups wirklich kosten: pro Token vs. Flatrate

    Multi-Agenten-Systeme verbrauchen ein Vielfaches der Tokens eines Agenten. Die Session-Rechnung für Flatrate vs. pro Token, versteckte Faktoren und wann was gewinnt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen