---
title: "Glossar zu LLM-APIs: Tokens, Kontext, Router und Preise"
description: "Klare Definitionen der Begriffe rund um LLM- und Speech-to-Text-APIs: Tokens, Kontextfenster, gecachter Input, Rate Limits und Zero Data Retention."
url: https://broadrouter.com/de/glossary/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diese Seiten wurden mit KI-Unterstützung aus dem Englischen übersetzt. [Alle Begriffe auf Englisch](https://broadrouter.com/glossary/) (129).

# Glossar zu LLM-APIs

Aktualisiert 2026-11-16

Kurze Definitionen mit Quellen für die Begriffe, die Entwicklern beim Aufruf einer LLM- oder Speech-to-Text-API begegnen: was Tokens und Kontextfenster sind, wie gecachter Input und Pläne mit Festpreis die Rechnung verändern und was Rate Limits und Zero Data Retention in der Praxis bedeuten.

[Abtastrate (Sample Rate)](https://broadrouter.com/de/glossary/sample-rate/)[API-Schlüssel (API Key)](https://broadrouter.com/de/glossary/api-key/)[Arabische Diakritika (Tashkeel)](https://broadrouter.com/de/glossary/arabic-diacritics/)[Arabische Dialekte (Dialectal Arabic)](https://broadrouter.com/de/glossary/dialectal-arabic/)[Arabische Dialekterkennung (dialect identification)](https://broadrouter.com/de/glossary/arabic-dialect-identification/)[Arabische Textnormalisierung (text normalization)](https://broadrouter.com/de/glossary/arabic-text-normalization/)[Arabizi (Franco-Arabisch)](https://broadrouter.com/de/glossary/arabizi/)[Auftragsverarbeitungsvertrag (AVV, DPA)](https://broadrouter.com/de/glossary/dpa/)[Ausgabenlimit (Spend Limit)](https://broadrouter.com/de/glossary/spend-limit/)[AWQ (Activation-aware Weight Quantization)](https://broadrouter.com/de/glossary/awq/)[Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/)[Batch API](https://broadrouter.com/de/glossary/batch-api/)[Bild-Tokens (Image Tokens)](https://broadrouter.com/de/glossary/image-tokens/)[BM25](https://broadrouter.com/de/glossary/bm25/)[Byte Pair Encoding (BPE)](https://broadrouter.com/de/glossary/bpe/)[Chain-of-Thought (CoT)](https://broadrouter.com/de/glossary/chain-of-thought/)[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)[Chat-Template](https://broadrouter.com/de/glossary/chat-template/)[Chunking (RAG)](https://broadrouter.com/de/glossary/chunking/)[Code-Switching](https://broadrouter.com/de/glossary/code-switching/)[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)[Context Compaction (Kontextverdichtung)](https://broadrouter.com/de/glossary/context-compaction/)[Context Engineering](https://broadrouter.com/de/glossary/context-engineering/)[Context Rot](https://broadrouter.com/de/glossary/context-rot/)[Datenresidenz (Data Residency)](https://broadrouter.com/de/glossary/data-residency/)[Destillation (Knowledge Distillation)](https://broadrouter.com/de/glossary/distillation/)[DSGVO (GDPR)](https://broadrouter.com/de/glossary/gdpr/)[Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/)[Embeddings](https://broadrouter.com/de/glossary/embeddings/)[Eval (LLM-Evaluierung)](https://broadrouter.com/de/glossary/eval/)[Exponentieller Backoff (Exponential Backoff)](https://broadrouter.com/de/glossary/exponential-backoff/)[Few-Shot-Prompting](https://broadrouter.com/de/glossary/few-shot-prompting/)[Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/)[finish\_reason](https://broadrouter.com/de/glossary/finish-reason/)[FP8](https://broadrouter.com/de/glossary/fp8/)[Frequency Penalty und Presence Penalty](https://broadrouter.com/de/glossary/frequency-and-presence-penalty/)[Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/)[GGUF](https://broadrouter.com/de/glossary/gguf/)[GPU-Stunde (GPU-hour)](https://broadrouter.com/de/glossary/gpu-hour/)[Grounding (Quellenbindung)](https://broadrouter.com/de/glossary/grounding/)[Guardrails (Leitplanken für LLMs)](https://broadrouter.com/de/glossary/guardrails/)[Halluzination (KI)](https://broadrouter.com/de/glossary/hallucination/)[Hamza](https://broadrouter.com/de/glossary/hamza/)[Hybride Suche (Hybrid Search)](https://broadrouter.com/de/glossary/hybrid-search/)[Idempotenzschlüssel (Idempotency Key)](https://broadrouter.com/de/glossary/idempotency-key/)[Inferenz-Anbieter (Inference Provider)](https://broadrouter.com/de/glossary/inference-provider/)[Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/)[INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/)[IP-Allowlist (IP allow list)](https://broadrouter.com/de/glossary/ip-allow-list/)[Jailbreak (LLM)](https://broadrouter.com/de/glossary/jailbreak/)[JSON Schema](https://broadrouter.com/de/glossary/json-schema/)[JSON-Modus (JSON mode)](https://broadrouter.com/de/glossary/json-mode/)[KI-Agent (AI Agent)](https://broadrouter.com/de/glossary/agent/)[KI-Coding-Agent (AI coding agent)](https://broadrouter.com/de/glossary/coding-agent/)[Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/)[KV-Cache](https://broadrouter.com/de/glossary/kv-cache/)[Latenz (LLM)](https://broadrouter.com/de/glossary/latency/)[LLM-as-a-Judge (LLM als Bewerter)](https://broadrouter.com/de/glossary/llm-as-judge/)[LLM-Benchmark](https://broadrouter.com/de/glossary/llm-benchmark/)[LLM-Flatrate (Flat-rate LLM plan)](https://broadrouter.com/de/glossary/flat-rate-llm-plan/)[LLM-Router](https://broadrouter.com/de/glossary/llm-router/)[Logprobs (Log-Wahrscheinlichkeiten)](https://broadrouter.com/de/glossary/logprobs/)[LoRA (Low-Rank Adaptation)](https://broadrouter.com/de/glossary/lora/)[Lost in the Middle](https://broadrouter.com/de/glossary/lost-in-the-middle/)[max\_tokens](https://broadrouter.com/de/glossary/max-tokens/)[MCP (Model Context Protocol)](https://broadrouter.com/de/glossary/mcp/)[Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/)[Modell-Deprecation (Abkündigung)](https://broadrouter.com/de/glossary/model-deprecation/)[Modell-Fallback (Model Fallback)](https://broadrouter.com/de/glossary/model-fallback/)[Modelllizenz (Model License)](https://broadrouter.com/de/glossary/model-license/)[Modernes Hocharabisch (MSA)](https://broadrouter.com/de/glossary/msa/)[Multi-Agenten-System (Multi-Agent System)](https://broadrouter.com/de/glossary/multi-agent-system/)[Multimodale KI (Multimodal AI)](https://broadrouter.com/de/glossary/multimodal/)[Named Entity Recognition (NER, Eigennamenerkennung)](https://broadrouter.com/de/glossary/named-entity-recognition/)[Ogg Opus](https://broadrouter.com/de/glossary/ogg-opus/)[Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/)[OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/)[Parallele Tool Calls (Parallel Tool Calls)](https://broadrouter.com/de/glossary/parallel-tool-calls/)[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)[PDPL (Datenschutzgesetze Saudi-Arabiens und der VAE)](https://broadrouter.com/de/glossary/pdpl/)[PII (personenbezogene Daten)](https://broadrouter.com/de/glossary/pii/)[Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/)[Prepaid-Guthaben (Prepaid Credit)](https://broadrouter.com/de/glossary/prepaid-credit/)[Prompt Engineering](https://broadrouter.com/de/glossary/prompt-engineering/)[Prompt Injection](https://broadrouter.com/de/glossary/prompt-injection/)[Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/)[RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/)[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)[ReAct (Reason and Act)](https://broadrouter.com/de/glossary/react-agent/)[Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/)[Rechts-nach-links-Text (RTL)](https://broadrouter.com/de/glossary/rtl-text/)[Request-Timeout (Zeitüberschreitung)](https://broadrouter.com/de/glossary/request-timeout/)[Reranking](https://broadrouter.com/de/glossary/reranking/)[Seed-Parameter](https://broadrouter.com/de/glossary/seed-parameter/)[Server-Sent Events (SSE)](https://broadrouter.com/de/glossary/sse/)[Serverless Inference](https://broadrouter.com/de/glossary/serverless-inference/)[SLA (Service Level Agreement)](https://broadrouter.com/de/glossary/sla/)[Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/)[Speech-to-Text (Spracherkennung)](https://broadrouter.com/de/glossary/speech-to-text/)[Sprachaktivitätserkennung (Voice Activity Detection, VAD)](https://broadrouter.com/de/glossary/vad/)[Sprecherdiarisierung (Speaker Diarization)](https://broadrouter.com/de/glossary/diarization/)[SRT-Untertitel](https://broadrouter.com/de/glossary/srt-subtitles/)[Stoppsequenzen (Stop Sequences)](https://broadrouter.com/de/glossary/stop-sequences/)[Streaming](https://broadrouter.com/de/glossary/streaming/)[Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/)[Subagent](https://broadrouter.com/de/glossary/subagent/)[System-Prompt](https://broadrouter.com/de/glossary/system-prompt/)[Taa marbuta (ة)](https://broadrouter.com/de/glossary/taa-marbuta/)[Temperatur (Temperature)](https://broadrouter.com/de/glossary/temperature/)[Text-to-Speech (TTS, Sprachsynthese)](https://broadrouter.com/de/glossary/text-to-speech/)[Texterkennung (OCR)](https://broadrouter.com/de/glossary/ocr/)[Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/)[Token](https://broadrouter.com/de/glossary/token/)[Tokenizer](https://broadrouter.com/de/glossary/tokenizer/)[Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/)[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)[tool\_choice](https://broadrouter.com/de/glossary/tool-choice/)[Top-p (Nucleus Sampling)](https://broadrouter.com/de/glossary/top-p/)[Unicode-Normalisierung](https://broadrouter.com/de/glossary/unicode-normalization/)[Unterauftragsverarbeiter (Subprocessor)](https://broadrouter.com/de/glossary/subprocessor/)[Vektordatenbank (vector database)](https://broadrouter.com/de/glossary/vector-database/)[Vision-Language-Modell (VLM)](https://broadrouter.com/de/glossary/vision-language-model/)[vLLM](https://broadrouter.com/de/glossary/vllm/)[Vokabulargröße (vocabulary size)](https://broadrouter.com/de/glossary/vocabulary-size/)[WAV](https://broadrouter.com/de/glossary/wav/)[Wortfehlerrate (Word Error Rate, WER)](https://broadrouter.com/de/glossary/word-error-rate/)[Zeichenfehlerrate (Character Error Rate, CER)](https://broadrouter.com/de/glossary/character-error-rate/)[Zeitstempel (Speech-to-Text)](https://broadrouter.com/de/glossary/timestamps-asr/)[Zero Data Retention (ZDR)](https://broadrouter.com/de/glossary/zero-data-retention/)

## APIs und Integration

[Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/)

Eine Basis-URL ist die feste Stammadresse einer API, etwa https://api.example.com/v1, die ein Client vor jeden Endpoint-Pfad wie /chat/completions setzt. In OpenAI-kompatiblen SDKs lenkt eine geänderte Basis-URL, zusammen mit API-Schlüssel und Modell-ID, denselben Code zu einem anderen Anbieter.

[Batch API](https://broadrouter.com/de/glossary/batch-api/)

Eine Batch API ist ein asynchroner LLM-Endpoint, der viele Anfragen auf einmal annimmt, meist als Datei, sie innerhalb eines festgelegten Zeitfensters statt sofort verarbeitet und die Ergebnisse gesammelt zurückgibt. Anbieter wie OpenAI und Anthropic berechnen Batch-Anfragen mit Rabatt gegenüber ihren Standard-APIs.

[BM25](https://broadrouter.com/de/glossary/bm25/)

BM25 (Okapi BM25) ist eine Rankingfunktion für die Stichwortsuche, die ein Dokument danach bewertet, wie oft die Suchbegriffe darin vorkommen, wie selten diese Begriffe in der gesamten Sammlung sind und wie lang das Dokument ist. Sie ist die Standard-Ähnlichkeit in Lucene und Elasticsearch.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Chunking (RAG)](https://broadrouter.com/de/glossary/chunking/)

Chunking ist der Schritt in einer Retrieval-Pipeline, der Dokumente in kleinere Stücke, sogenannte Chunks, zerlegt, bevor sie eingebettet und indexiert werden. Die Chunk-Größe legt fest, wie viel Text jedes Stück enthält, und der Chunk-Overlap wiederholt etwas Text zwischen benachbarten Chunks, damit an einer Grenze zerschnittene Gedanken nicht verloren gehen.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/)

Durchsatz (Throughput) ist beim Betrieb von LLMs die gesamte Arbeit, die ein System pro Zeiteinheit über alle gleichzeitigen Anfragen erledigt, meist gemessen in Output-Tokens pro Sekunde oder Anfragen pro Sekunde. Er unterscheidet sich von der Geschwindigkeit pro Stream, also davon, wie schnell eine einzelne Anfrage ihre Tokens erhält.

[Exponentieller Backoff (Exponential Backoff)](https://broadrouter.com/de/glossary/exponential-backoff/)

Exponentieller Backoff ist eine Retry-Strategie, bei der ein Client nach jedem fehlgeschlagenen Versuch länger wartet, meist mit Verdopplung der Wartezeit bis zu einer Obergrenze, bevor er es erneut versucht. Zufälliger Jitter auf jeder Wartezeit verteilt die Retries vieler Clients, damit sie den Server nicht im selben Moment treffen.

[finish\_reason](https://broadrouter.com/de/glossary/finish-reason/)

finish\_reason ist ein Feld an jeder Choice einer Chat-Completion-Antwort, das angibt, warum das Modell die Generierung beendet hat. Im OpenAI-Format lauten die Werte stop, length, tool\_calls, content\_filter und das veraltete function\_call. Die Messages API von Anthropic meldet dasselbe als stop\_reason.

[Hybride Suche (Hybrid Search)](https://broadrouter.com/de/glossary/hybrid-search/)

Hybride Suche ist ein Retrieval-Verfahren, das für dieselbe Anfrage eine Keyword-Suche wie BM25 und eine Vektorsuche über Embeddings ausführt und die beiden Ergebnislisten zu einer zusammenführt, oft mit Reciprocal Rank Fusion (RRF) oder einer gewichteten Summe normalisierter Scores.

[Idempotenzschlüssel (Idempotency Key)](https://broadrouter.com/de/glossary/idempotency-key/)

Ein Idempotenzschlüssel ist ein eindeutiger Wert, meist eine zufällige ID wie eine UUID, den ein Client an eine zustandsändernde Anfrage wie eine Zahlung oder einen Kauf anhängt. Kommt dieselbe Anfrage mit demselben Schlüssel erneut, liefert der Server das ursprüngliche Ergebnis, statt die Aktion zweimal auszuführen.

[Inferenz-Anbieter (Inference Provider)](https://broadrouter.com/de/glossary/inference-provider/)

Ein Inferenz-Anbieter ist ein Unternehmen, das Machine-Learning-Modelle, oft Open-Weight-LLMs, auf eigenen, geleasten oder gemieteten GPUs betreibt und den Zugang über eine API verkauft, meist pro Token, pro Anfrage oder pro Zeiteinheit. Es kümmert sich um Serving, Skalierung und Hardware.

[JSON Schema](https://broadrouter.com/de/glossary/json-schema/)

JSON Schema ist ein in JSON geschriebenes Vokabular, mit dem Sie die Struktur von JSON-Daten beschreiben und validieren: Typen, Pflichtfelder, erlaubte Werte und Verschachtelung. Die aktuelle Version ist 2020-12. LLM-APIs definieren damit Tool-Parameter und die genaue Struktur, der eine strukturierte Ausgabe folgen muss.

[JSON-Modus (JSON mode)](https://broadrouter.com/de/glossary/json-mode/)

Der JSON-Modus ist eine Einstellung von LLM-APIs, in APIs im OpenAI-Stil response\_format {"type": "json\_object"}, die dafür sorgt, dass die Antwort des Modells gültiges, parsebares JSON ist. Anders als Structured Outputs mit einem JSON Schema garantiert er nicht, welche Keys, Typen oder Werte das Objekt enthält.

[KI-Agent (AI Agent)](https://broadrouter.com/de/glossary/agent/)

Ein KI-Agent ist ein System, in dem ein Sprachmodell seine eigenen Schritte auf ein Ziel hin steuert: Es entscheidet, welche Tools es aufruft, liest die Ergebnisse und wiederholt das, bis es eine endgültige Antwort liefert oder an ein Limit stößt. Ein festes Skript, das ein Modell an vorgegebenen Stellen aufruft, heißt dagegen meist Workflow.

[KI-Coding-Agent (AI coding agent)](https://broadrouter.com/de/glossary/coding-agent/)

Ein KI-Coding-Agent ist ein Software-Tool, in dem ein Sprachmodell in einer Schleife an einer Codebasis arbeitet: Es liest Dateien, bearbeitet sie, führt Befehle wie Tests aus, liest die Ausgabe und entscheidet über den nächsten Schritt, bis die Aufgabe erledigt oder ein Limit erreicht ist.

[Latenz (LLM)](https://broadrouter.com/de/glossary/latency/)

Latenz ist bei einer Sprachmodell-API die Zeit, die eine Anfrage vom Senden bis zum Empfang des letzten Output-Tokens braucht. Sie ist die Summe aus Time to First Token und Generierungszeit und wird meist als Perzentile wie p50 und p95 angegeben statt als Durchschnitt.

[LLM-Router](https://broadrouter.com/de/glossary/llm-router/)

Ein LLM-Router ist eine Software oder ein Dienst zwischen einer Anwendung und einer oder mehreren Sprachmodell-APIs, der für jede Anfrage entscheidet, welches Modell oder welcher Anbieter sie bearbeitet, nach Regeln wie Kosten, Latenz, Verfügbarkeit oder Art der Aufgabe.

[MCP (Model Context Protocol)](https://broadrouter.com/de/glossary/mcp/)

MCP (Model Context Protocol) ist ein offenes Protokoll auf Basis von JSON-RPC 2.0, das standardisiert, wie LLM-Anwendungen sich mit externen Tools und Daten verbinden. Ein MCP-Server stellt Tools, Ressourcen und Prompts bereit; ein MCP-Client in der Host-Anwendung findet sie und leitet Tool Calls des Modells an den Server weiter.

[Modell-Deprecation (Abkündigung)](https://broadrouter.com/de/glossary/model-deprecation/)

Modell-Deprecation bedeutet, dass ein API-Anbieter ankündigt, ein Modell nicht mehr anzubieten, meist mit einem Abschalttermin und einem empfohlenen Nachfolger. Nach diesem Termin schlagen Anfragen an das Modell fehl, Anwendungen müssen also vorher auf eine andere Modell-ID umsteigen.

[Modell-Fallback (Model Fallback)](https://broadrouter.com/de/glossary/model-fallback/)

Modell-Fallback ist ein Zuverlässigkeitsmuster, bei dem eine fehlgeschlagene LLM-Anfrage auf einem anderen Modell oder bei einem anderen Anbieter aus einer geordneten Liste wiederholt wird. Auslöser kann ein Fehler, ein Rate Limit, ein Kontextlängen-Fehler oder eine Ablehnung wegen Inhaltsrichtlinien sein. Es läuft in Ihrem Client oder in einem Gateway vor den APIs.

[Multi-Agenten-System (Multi-Agent System)](https://broadrouter.com/de/glossary/multi-agent-system/)

Ein Multi-Agenten-System ist eine LLM-Anwendung, in der mehrere Agenten, jeder mit eigenem Prompt, eigenen Tools und eigenem Kontext, an Teilen einer Aufgabe arbeiten. Ein verbreitetes Design ist Orchestrator-Worker: Ein Lead-Agent plant, startet Worker-Agenten parallel und führt ihre Ergebnisse zusammen.

[OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/)

Eine OpenAI-kompatible API ist eine HTTP-API, die dieselben Anfrage- und Antwortformate wie die OpenAI API akzeptiert, etwa POST /v1/chat/completions. OpenAI-SDKs und Tools können sie deshalb nutzen, wenn nur Basis-URL, API-Schlüssel und Modellname geändert werden.

[Parallele Tool Calls (Parallel Tool Calls)](https://broadrouter.com/de/glossary/parallel-tool-calls/)

Parallele Tool Calls liegen vor, wenn ein Modell in einer einzigen Antwort mehr als einen Tool Call zurückgibt, zum Beispiel drei Dateilesevorgänge auf einmal. Im OpenAI-Format kommen sie als mehrere Einträge in tool\_calls, und parallel\_tool\_calls auf false begrenzt das Modell auf null oder einen Aufruf pro Runde.

[RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/)

RAG (Retrieval-Augmented Generation) ist ein Muster, bei dem eine Anwendung zuerst zur Frage passende Abschnitte aus einem externen Speicher abruft, etwa einem Such- oder Vektorindex, und sie dann in den Prompt einfügt, damit ein Sprachmodell aus diesem Text antwortet statt nur aus seinem Gedächtnis.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[ReAct (Reason and Act)](https://broadrouter.com/de/glossary/react-agent/)

ReAct (Reason and Act) ist ein Prompting-Muster, 2022 von Yao et al. vorgestellt, bei dem ein Sprachmodell Denkschritte mit Aktionen wie Suchen oder Tool Calls verschränkt. Es liest jede Beobachtung, passt seinen Plan an und wiederholt das, bis es eine endgültige Antwort geben kann.

[Rechts-nach-links-Text (RTL)](https://broadrouter.com/de/glossary/rtl-text/)

Rechts-nach-links-Text (RTL) ist Schrift wie Arabisch oder Hebräisch, die von rechts nach links angezeigt wird. Computer speichern sie in logischer Lesereihenfolge; der Unicode Bidirectional Algorithm entscheidet über die Anzeigereihenfolge, wenn RTL-Text mit Links-nach-rechts-Text, Ziffern, Modellnamen oder Code gemischt wird.

[Request-Timeout (Zeitüberschreitung)](https://broadrouter.com/de/glossary/request-timeout/)

Ein Request-Timeout ist die längste Zeit, die ein HTTP-Client auf einen Server wartet, bevor er die Anfrage aufgibt. Clients teilen ihn meist in einen Connect-Timeout für den Verbindungsaufbau und einen Read-Timeout für das Warten auf Daten. LLM-Aufrufe brauchen großzügige Read-Timeouts, weil lange Antworten Zeit kosten.

[Reranking](https://broadrouter.com/de/glossary/reranking/)

Reranking ist eine zweite Retrieval-Stufe, in der ein genaueres, aber langsameres Modell, meist ein Cross-Encoder, jedes Paar aus Anfrage und Kandidatendokument aus einer ersten Suche bewertet und neu ordnet, sodass nur die wenigen relevantesten an das Sprachmodell gehen.

[Seed-Parameter](https://broadrouter.com/de/glossary/seed-parameter/)

Der Seed-Parameter ist eine Ganzzahl, die Sie mit einer Anfrage senden, damit die API versucht, bei einer Wiederholung derselben Anfrage dieselben Tokens zu ziehen. OpenAI beschreibt das als Best Effort: Determinismus ist nicht garantiert, und das Feld system\_fingerprint zeigt, wann sich die Backend-Konfiguration geändert hat.

[Server-Sent Events (SSE)](https://broadrouter.com/de/glossary/sse/)

Server-Sent Events (SSE) sind ein Webstandard, mit dem ein Server einem Client über eine einzige, lang offene HTTP-Antwort mit dem Content-Type text/event-stream einen Strom von Text-Events schickt. Jedes Event besteht aus einer oder mehreren Feldzeilen, etwa data:, und endet mit einer Leerzeile.

[Serverless Inference](https://broadrouter.com/de/glossary/serverless-inference/)

Serverless Inference ist eine Art, Machine-Learning-Modelle zu betreiben, bei der die Plattform die Rechenleistung hinter einem Endpoint automatisch startet, skaliert und stoppt, im Leerlauf oft bis auf null, und nach Nutzung statt nach reservierten Maschinen abrechnet. Der Preis dafür sind mögliche Verzögerungen durch Cold Starts.

[SLA (Service Level Agreement)](https://broadrouter.com/de/glossary/sla/)

Ein SLA (Service Level Agreement) ist eine vertragliche Zusage eines Anbieters zu einem messbaren Leistungsniveau, meist einem monatlichen Verfügbarkeitsprozentsatz, mit einer festgelegten Abhilfe, meist Service-Gutschriften, wenn es verfehlt wird. Ein SLA legt fest, was als Ausfall zählt, was ausgeschlossen ist und wie man Ansprüche geltend macht.

[Stoppsequenzen (Stop Sequences)](https://broadrouter.com/de/glossary/stop-sequences/)

Stop Sequences (Stoppsequenzen) sind Zeichenfolgen, die Sie mit einer Anfrage senden und die das Modell stoppen, sobald es eine davon erzeugt. OpenAI nennt das Feld stop und akzeptiert bis zu 4 Sequenzen; Anthropic nennt es stop\_sequences. Der gefundene Text fehlt normalerweise im zurückgegebenen Output.

[Streaming](https://broadrouter.com/de/glossary/streaming/)

Streaming ist eine Art, die Antwort eines Sprachmodells in kleinen Chunks zurückzugeben, während sie noch erzeugt wird, statt als eine Antwort am Ende. OpenAI-kompatible APIs streamen über Server-Sent Events, wenn die Anfrage stream auf true setzt.

[Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/)

Strukturierte Ausgabe (Structured Output) ist eine Funktion von LLM-APIs, die die Antwort eines Modells auf ein vom Entwickler vorgegebenes Format beschränkt, meist ein JSON Schema, damit Code sie zuverlässig parsen kann. Sie ist strenger als der JSON-Modus, der gültiges JSON garantiert, aber keine bestimmte Struktur.

[Subagent](https://broadrouter.com/de/glossary/subagent/)

Ein Subagent ist ein separater Agent, den ein Hauptagent für eine klar umrissene Aufgabe startet. Er läuft mit eigenem Kontextfenster, System-Prompt und Tool-Zugriff, erledigt die Arbeit und gibt nur ein Ergebnis oder eine Zusammenfassung an den Hauptagenten zurück, sodass die Hauptkonversation klein bleibt.

[System-Prompt](https://broadrouter.com/de/glossary/system-prompt/)

Ein System-Prompt ist der Anweisungstext, den eine Anwendung einem Sprachmodell vor dem Gespräch sendet, meist als Nachricht mit der Rolle system oder developer. Er legt Rolle, Regeln, Ton und Ausgabeformat des Modells fest, und das Modell soll ihm auch bei widersprechenden Nutzernachrichten folgen.

[Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/)

Time to First Token (TTFT) ist die Zeit vom Senden einer Anfrage an ein Sprachmodell bis zum Eintreffen des ersten Output-Tokens. Sie umfasst Netzwerkzeit, Warteschlange auf dem Server und Prefill, den Schritt, in dem das Modell den ganzen Prompt liest; sie wächst daher mit Prompt-Länge und Last.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[tool\_choice](https://broadrouter.com/de/glossary/tool-choice/)

tool\_choice ist ein Anfrageparameter, der die Tool-Nutzung steuert. In den Chat Completions von OpenAI kann er auto (das Modell entscheidet), required (es muss ein oder mehrere Tools aufrufen), none (keine Tools) oder eine benannte, erzwungene Funktion sein. Die entsprechenden Optionen bei Anthropic sind auto, any, tool und none.

[Unicode-Normalisierung](https://broadrouter.com/de/glossary/unicode-normalization/)

Unicode-Normalisierung wandelt Text in eine Standardform um, damit gleich aussehende Strings dieselben Codepoints verwenden. Die vier Formen sind NFD, NFC, NFKD und NFKC; die K-Formen führen zusätzlich Kompatibilitätszeichen wie arabische Präsentationsformen und Ligaturen auf gewöhnliche Buchstaben zurück.

[Vektordatenbank (vector database)](https://broadrouter.com/de/glossary/vector-database/)

Eine Vektordatenbank ist ein Datenspeicher für Embedding-Vektoren, oft zusammen mit Quelltext und Metadaten, der Nearest-Neighbour-Abfragen beantwortet: Zu einem Anfragevektor liefert sie die ähnlichsten gespeicherten Vektoren, meist nach Kosinus-Distanz, euklidischer Distanz oder Skalarprodukt.

## Modelle und Tokens

[Arabische Diakritika (Tashkeel)](https://broadrouter.com/de/glossary/arabic-diacritics/)

Arabische Diakritika, auch Tashkeel genannt, sind kleine Zeichen über oder unter den Buchstaben, die kurze Vokale, verdoppelte Konsonanten und das Fehlen eines Vokals anzeigen. Sie sind optional: Die meisten arabischen Texte, auch Nachrichten, lassen sie weg, und Leser wie Software erschließen die Vokale aus dem Kontext.

[Arabische Dialekte (Dialectal Arabic)](https://broadrouter.com/de/glossary/dialectal-arabic/)

Dialektales Arabisch ist das gesprochene Alltagsarabisch einer Region oder Stadt, etwa Ägyptisch, Golf-Arabisch, Levantinisch oder Maghrebinisch. Dialekte unterscheiden sich vom modernen Hocharabisch in Lauten, Wörtern und Grammatik, haben keine Standardschreibung und werden online zunehmend geschrieben, was sie für Sprachmodelle schwieriger macht.

[Arabische Dialekterkennung (dialect identification)](https://broadrouter.com/de/glossary/arabic-dialect-identification/)

Arabische Dialekterkennung ist die Aufgabe, festzustellen, in welcher arabischen Varietät ein Text oder eine Aufnahme vorliegt, etwa Ägyptisch, Golf-Arabisch, Levantinisch, Maghrebinisch oder modernes Hocharabisch, auf Ebene von Region, Land oder Stadt. Man nutzt sie, um Nachrichten weiterzuleiten, Prompts auszuwählen und Testsets aufzuteilen.

[Arabische Textnormalisierung (text normalization)](https://broadrouter.com/de/glossary/arabic-text-normalization/)

Arabische Textnormalisierung ist der Schritt, der Schreibvarianten desselben Worts vor dem Abgleich auf eine Form abbildet: Diakritika und Tatweel entfernen, Alef-Formen vereinheitlichen und oft ى auf ي sowie ة auf ه abbilden. Sie wird auf Suchschlüssel und Evaluierung angewendet, nicht auf angezeigten Text.

[Arabizi (Franco-Arabisch)](https://broadrouter.com/de/glossary/arabizi/)

Arabizi ist informell in lateinischen Buchstaben geschriebenes Arabisch, bei dem Ziffern für arabische Laute ohne lateinische Entsprechung stehen, etwa 3 für ع. Es ist in Chats und sozialen Medien verbreitet, meist dialektal, hat keine feste Rechtschreibung und wird oft mit Englisch oder Französisch gemischt.

[AWQ (Activation-aware Weight Quantization)](https://broadrouter.com/de/glossary/awq/)

AWQ (Activation-aware Weight Quantization) ist ein Post-Training-Verfahren, das die Gewichte eines LLM auf geringe Präzision komprimiert, meist auf 4-Bit-Ganzzahlen. Es nutzt Aktivierungsstatistiken aus einem kleinen Kalibrierungsset, um die wichtigsten Gewichtskanäle zu finden, und skaliert sie so, dass sie weniger Genauigkeit verlieren. Backpropagation ist nicht nötig.

[Bild-Tokens (Image Tokens)](https://broadrouter.com/de/glossary/image-tokens/)

Bild-Tokens sind die Input-Tokens, mit denen ein Vision-Language-Modell ein Bild im Prompt darstellt. Anbieter berechnen sie aus der Bildgröße, meist indem sie das Bild nach dem Skalieren in Patches oder Kacheln fester Größe zerlegen, und rechnen sie wie Text-Input-Tokens ab. Größere Bilder kosten also mehr.

[Byte Pair Encoding (BPE)](https://broadrouter.com/de/glossary/bpe/)

Byte Pair Encoding (BPE) ist ein Algorithmus zur Subwort-Tokenisierung, der bei einzelnen Zeichen oder Bytes beginnt und wiederholt das häufigste benachbarte Paar zu einem neuen Vokabulareintrag zusammenführt, bis eine Zielgröße des Vokabulars erreicht ist. Die meisten aktuellen LLM-Tokenizer nutzen BPE oder eine Byte-Level-Variante.

[Chain-of-Thought (CoT)](https://broadrouter.com/de/glossary/chain-of-thought/)

Chain-of-Thought (CoT) ist eine Prompting-Technik, bei der einem Sprachmodell Zwischenschritte des Denkens vorgemacht werden oder es gebeten wird, diese vor der endgültigen Antwort auszuschreiben. Sie verbessert die Genauigkeit bei mehrstufigen Aufgaben wie Rechnen und Logik, und Reasoning-Modelle erzeugen sie inzwischen automatisch.

[Chat-Template](https://broadrouter.com/de/glossary/chat-template/)

Ein Chat-Template ist die Formatierungsregel, meist in Jinja geschrieben und mit dem Tokenizer eines Modells ausgeliefert, die eine Liste von Chat-Nachrichten mit Rollen in die eine Tokenfolge umwandelt, die das Modell erwartet, einschließlich seiner speziellen Steuer-Tokens. Ein falsches Template kann die Antworten eines Modells deutlich verschlechtern.

[Context Compaction (Kontextverdichtung)](https://broadrouter.com/de/glossary/context-compaction/)

Context Compaction bedeutet, eine Konversation, die sich dem Limit des Kontextfensters nähert, zusammenzufassen und die Session mit dieser Zusammenfassung fortzusetzen, sodass ein Agent wichtige Entscheidungen und den Zustand behält und rohen Verlauf wie alte Tool-Ausgaben verwirft.

[Context Engineering](https://broadrouter.com/de/glossary/context-engineering/)

Context Engineering ist die Arbeit, die Menge an Tokens auszuwählen und zu pflegen, die ein Sprachmodell bei jeder Anfrage sieht, also System-Prompt, Tool-Definitionen, Verlauf, abgerufene Dokumente und Notizen, damit das Modell die kleinste Menge aussagekräftiger Informationen erhält, die es für die Aufgabe braucht.

[Context Rot](https://broadrouter.com/de/glossary/context-rot/)

Context Rot ist der schleichende Verlust an Genauigkeit und Zuverlässigkeit, den Sprachmodelle zeigen, wenn ihr Input länger wird, selbst wenn die Aufgabe gleich bleibt und der Input weit innerhalb des Kontextfensters liegt. Bekannt wurde der Begriff durch einen technischen Bericht von Chroma aus dem Jahr 2025, der 18 Modelle testete.

[Destillation (Knowledge Distillation)](https://broadrouter.com/de/glossary/distillation/)

Destillation (Knowledge Distillation, Wissensdestillation) ist ein Trainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Outputs eines größeren Lehrermodells nachzubilden, etwa seine Wahrscheinlichkeitsverteilungen oder erzeugten Antworten, sodass der Schüler viel von der Qualität des Lehrers behält und im Betrieb weniger kostet.

[Embeddings](https://broadrouter.com/de/glossary/embeddings/)

Embeddings sind Listen von Gleitkommazahlen (Vektoren), die ein Modell erzeugt, um einen Text, ein Bild oder einen anderen Input darzustellen. Inputs mit ähnlicher Bedeutung erhalten nah beieinanderliegende Vektoren; über den Abstand lassen sich Suchergebnisse ranken, Dokumente clustern oder verwandte Elemente finden.

[Eval (LLM-Evaluierung)](https://broadrouter.com/de/glossary/eval/)

Ein Eval (kurz für Evaluation) ist ein wiederholbarer Test eines Sprachmodells oder Prompts: eine feste Menge an Inputs, eine Beschreibung, wie ein guter Output aussieht, und ein Bewerter (Code, ein Mensch oder ein anderes Modell), der jeden Output benotet, damit sich Versionen vergleichen lassen.

[Few-Shot-Prompting](https://broadrouter.com/de/glossary/few-shot-prompting/)

Few-Shot-Prompting ist eine Technik, bei der ein Prompt vor dem eigentlichen Input einige ausgearbeitete Input-Output-Beispiele enthält, aus denen ein Sprachmodell Aufgabe und Format ableitet. Die Gewichte des Modells ändern sich nicht; Zero-Shot kommt ohne Beispiele aus, One-Shot nutzt eines.

[Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/)

Fine-Tuning ist das Weitertrainieren eines vortrainierten Sprachmodells mit einem kleineren, aufgabenspezifischen Datensatz, etwa Beispielgesprächen, sodass sich seine Gewichte ändern und es diese Aufgabe oder diesen Stil zuverlässiger beherrscht, ohne lange Anweisungen oder Beispiele in jedem Prompt.

[FP8](https://broadrouter.com/de/glossary/fp8/)

FP8 ist ein 8-Bit-Gleitkommaformat für Deep Learning, definiert in zwei Kodierungen: E4M3 mit 4 Exponenten- und 3 Mantissenbits und E5M2 mit 5 Exponenten- und 2 Mantissenbits. Es halbiert den Speicherbedarf gegenüber 16-Bit-Formaten und läuft auf aktuellen GPUs nativ.

[Frequency Penalty und Presence Penalty](https://broadrouter.com/de/glossary/frequency-and-presence-penalty/)

Frequency Penalty und Presence Penalty sind Sampling-Einstellungen, die den Score von Tokens senken, die schon im Output stehen. Die Presence Penalty greift einmal, sobald ein Token überhaupt vorkam; die Frequency Penalty wächst mit jeder Wiederholung. In der API von OpenAI reichen beide von -2.0 bis 2.0, Standardwert 0.

[GGUF](https://broadrouter.com/de/glossary/gguf/)

GGUF ist ein binäres Dateiformat, in dem Sprachmodelle für die Inferenz mit GGML-basierten Runtimes wie llama.cpp gespeichert werden. Eine GGUF-Datei enthält die Gewichte, oft quantisiert, plus die zum Laden nötigen Metadaten wie Tokenizer- und Architekturangaben, und lässt sich für schnelles Laden per Memory-Mapping einbinden.

[Grounding (Quellenbindung)](https://broadrouter.com/de/glossary/grounding/)

Grounding bedeutet, den Output eines Sprachmodells an bestimmte, überprüfbare Informationsquellen zu binden, etwa mitgelieferte Dokumente, Suchergebnisse oder Datenbankeinträge, und es anzuweisen, daraus zu antworten. Gegroundete Antworten lassen sich auf eine Quelle zurückführen und enthalten seltener erfundene Fakten.

[Halluzination (KI)](https://broadrouter.com/de/glossary/hallucination/)

Eine Halluzination ist Output eines Sprachmodells, der plausibel klingt, aber falsch, erfunden oder nicht durch den gegebenen Input gedeckt ist, etwa eine erfundene Quelle, eine falsche Zahl oder eine nicht existierende API. Sie entsteht, weil das Modell wahrscheinlichen Text vorhersagt, statt Fakten zu prüfen.

[Hamza](https://broadrouter.com/de/glossary/hamza/)

Hamza (ء) ist der arabische Buchstabe für den Knacklaut (Glottisschlag). Er steht allein oder auf einem Träger: Alif (أ إ), Waw (ؤ) oder Ya (ئ); آ verbindet Alif mit Madda. Weil getippter Text ihn uneinheitlich schreibt, fassen Suchmaschinen und Sprachbewertung die Alif-Formen oft zu ا zusammen.

[INT4 (4-Bit-Quantisierung)](https://broadrouter.com/de/glossary/int4/)

INT4 ist ein 4-Bit-Ganzzahlformat mit 16 darstellbaren Stufen. Bei der LLM-Inferenz meint es meist 4-Bit-Weight-only-Quantisierung (W4A16): Gewichte werden als INT4 mit Skalierungsfaktoren gespeichert und bei der Berechnung auf 16 Bit erweitert. Sie belegen etwa ein Viertel des Speichers von 16-Bit-Gewichten.

[Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/)

Das Kontextfenster ist die maximale Anzahl an Tokens, mit der ein Sprachmodell in einer einzelnen Anfrage arbeiten kann. Es umfasst Prompt, Gesprächsverlauf, Tool-Definitionen, Bilder und den erzeugten Output einschließlich Reasoning-Tokens. Was nicht hineinpasst, muss gekürzt, zusammengefasst oder auf mehrere Anfragen verteilt werden.

[KV-Cache](https://broadrouter.com/de/glossary/kv-cache/)

Ein KV-Cache ist der Speicher, in dem ein Transformer-Sprachmodell die Attention-Keys und -Values aller bereits verarbeiteten Tokens ablegt, damit jedes neue Token sie wiederverwendet, statt die ganze Sequenz neu zu berechnen. Er wächst mit der Kontextlänge und begrenzt oft, wie viele Anfragen eine GPU bedienen kann.

[LLM-as-a-Judge (LLM als Bewerter)](https://broadrouter.com/de/glossary/llm-as-judge/)

LLM-as-a-Judge ist eine Evaluierungsmethode, bei der ein Sprachmodell die Ausgaben anderer Modelle bewertet: Es benotet eine einzelne Antwort anhand einer Rubrik oder wählt die bessere von zwei Antworten. Das nähert menschliches Urteil zu viel geringeren Kosten an, hat aber bekannte Verzerrungen, etwa eine Vorliebe für die erste oder längere Antwort.

[LLM-Benchmark](https://broadrouter.com/de/glossary/llm-benchmark/)

Ein LLM-Benchmark ist eine feste, meist öffentliche Sammlung von Aufgaben mit einer Bewertungsmethode, mit der Sprachmodelle bei einer Fähigkeit gemessen und verglichen werden, etwa Wissensfragen, Programmieren oder Spracherkennung. Ein Benchmark-Score zeigt die relative Leistung in diesem Test, nicht wie ein Modell bei Ihrem eigenen Workload abschneidet.

[Logprobs (Log-Wahrscheinlichkeiten)](https://broadrouter.com/de/glossary/logprobs/)

Logprobs sind die logarithmierten Wahrscheinlichkeiten, die ein Sprachmodell den von ihm erzeugten Tokens zugewiesen hat. Eine API, die sie zurückgibt, zeigt für jedes Output-Token, wie wahrscheinlich das Modell es fand, und auf Wunsch die wahrscheinlichsten alternativen Tokens an dieser Stelle.

[LoRA (Low-Rank Adaptation)](https://broadrouter.com/de/glossary/lora/)

LoRA (Low-Rank Adaptation) ist eine parametereffiziente Fine-Tuning-Methode, die die Gewichte eines vortrainierten Modells einfriert und für ausgewählte Schichten ein Paar kleiner Matrizen mit niedrigem Rang trainiert. Das gelernte Update lässt sich als kleiner Adapter speichern oder in die Gewichte einrechnen und verursacht dann keine zusätzliche Inferenzlatenz.

[Lost in the Middle](https://broadrouter.com/de/glossary/lost-in-the-middle/)

Lost in the Middle bezeichnet die beobachtete Neigung von Sprachmodellen, relevante Informationen am besten zu nutzen, wenn sie nahe am Anfang oder Ende einer langen Eingabe stehen, und am schlechtesten, wenn sie in der Mitte liegen. Benannt wurde der Effekt 2023 in einer Studie von Liu et al.

[max\_tokens](https://broadrouter.com/de/glossary/max-tokens/)

max\_tokens ist ein Parameter von LLM-APIs, der festlegt, wie viele Tokens ein Modell in einer Antwort höchstens erzeugen darf. Erreicht die Generierung das Limit, bricht sie ab, und die Antwort wird als abgeschnitten markiert, zum Beispiel mit finish\_reason „length“.

[Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/)

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, bei der eine Schicht viele Experten-Teilnetze enthält und ein gelernter Router jedes Token nur an wenige davon schickt. Ein MoE-Sprachmodell hat eine große Gesamtzahl an Parametern, nutzt pro Token aber nur eine kleine aktive Teilmenge.

[Modelllizenz (Model License)](https://broadrouter.com/de/glossary/model-license/)

Eine Modelllizenz sind die rechtlichen Bedingungen, unter denen Gewichte, Code und Ausgaben eines Modells genutzt, verändert und weitergegeben werden dürfen. Open-Weight-Modelle nutzen Standard-Softwarelizenzen wie Apache 2.0 oder MIT oder eigene Modelllizenzen, die Bedingungen hinzufügen können, etwa Grenzen für große kommerzielle Dienste.

[Modernes Hocharabisch (MSA)](https://broadrouter.com/de/glossary/msa/)

Modernes Hocharabisch (MSA) ist die standardisierte Form des Arabischen, die in der gesamten arabischen Welt für Schrift, Nachrichten, Bildung und formelle Rede genutzt wird. Niemand spricht es als Alltagsmuttersprache: Gesprochen werden regionale Dialekte wie Ägyptisch oder Golfarabisch, in formellen Situationen wechselt man ins MSA.

[Multimodale KI (Multimodal AI)](https://broadrouter.com/de/glossary/multimodal/)

Multimodale KI ist ein Modell oder System, das mit mehr als einer Art von Daten arbeitet, etwa Text, Bildern, Video und Audio. Ein multimodales Modell kann zum Beispiel ein Foto zusammen mit einer Frage lesen oder Sprache entgegennehmen und als Text antworten. Ein Vision-Language-Modell ist die häufigste Art.

[Named Entity Recognition (NER, Eigennamenerkennung)](https://broadrouter.com/de/glossary/named-entity-recognition/)

Named Entity Recognition (NER) ist die Aufgabe, Namen in einem Text zu finden und jedem einen Typ zuzuordnen, etwa Person, Organisation oder Ort. Klassische Systeme taggen jedes Token; LLMs sollen stattdessen oft eine Liste von Entitäten als JSON zurückgeben, die dann gegen den Ausgangstext geprüft wird.

[Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/)

Ein Open-Weight-Modell ist ein Machine-Learning-Modell, dessen trainierte Gewichte veröffentlicht sind, sodass jeder sie herunterladen und ausführen kann, meist unter einer Lizenz mit Bedingungen. Es unterscheidet sich von vollständig quelloffener KI, die auch Trainingscode und detaillierte Angaben zu den Trainingsdaten freigibt, damit andere das Modell untersuchen und nachbauen können.

[Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/)

Prefill und Decode sind die beiden Phasen der LLM-Inferenz. Im Prefill verarbeitet das Modell den ganzen Prompt parallel und füllt seinen KV-Cache; im Decode erzeugt es die Antwort Token für Token und nutzt diesen Cache wieder. Prefill bestimmt vor allem die Time to First Token, Decode die Ausgabegeschwindigkeit.

[Prompt Engineering](https://broadrouter.com/de/glossary/prompt-engineering/)

Prompt Engineering ist das Schreiben, Strukturieren und Testen der Anweisungen an ein Sprachmodell, damit es zuverlässig Output liefert, der Ihre Anforderungen erfüllt. Dazu gehören Rollennachrichten, klare Anweisungen, Beispiele, Formatierung und das Messen der Ergebnisse an Testfällen.

[Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/)

Quantisierung bedeutet, die Zahlen eines neuronalen Netzes, vor allem seine Gewichte, in einem Format mit geringerer Präzision wie 8 oder 4 Bit statt 16 Bit zu speichern, damit das Modell weniger Speicher braucht und oft schneller läuft. Gute Verfahren halten den Genauigkeitsverlust klein.

[Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/)

Reasoning-Tokens sind Tokens, die ein Reasoning-Modell erzeugt, um ein Problem durchzuarbeiten, bevor es seine sichtbare Antwort schreibt. Sie werden meist als Output-Tokens berechnet, zählen zum Output-Limit und zum Kontextfenster und können von der API verborgen oder zusammengefasst werden.

[Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/)

Speculative Decoding ist eine Inferenztechnik, bei der ein kleines, schnelles Draft-Modell mehrere nächste Tokens vorschlägt und das große Zielmodell sie in einem einzigen Forward Pass prüft und die akzeptierten behält. Das beschleunigt die Generierung, ohne die Verteilung der Ausgabe zu verändern.

[Taa marbuta (ة)](https://broadrouter.com/de/glossary/taa-marbuta/)

Taa marbuta (ة, U+0629) ist ein arabischer Buchstabe, der nur am Wortende vorkommt und oft feminine Substantive und Adjektive markiert. Er sieht aus wie Heh (ه, U+0647) mit zwei Punkten, daher werden beide in getipptem Text verwechselt, und viele Such-Normalisierer bilden ة auf ه ab.

[Temperatur (Temperature)](https://broadrouter.com/de/glossary/temperature/)

Die Temperatur ist ein Sampling-Parameter, der steuert, wie zufällig der Output eines Sprachmodells ist. Das Modell teilt seine Token-Scores durch die Temperatur, bevor es sie in Wahrscheinlichkeiten umrechnet: Niedrige Werte lassen das wahrscheinlichste Token dominieren, hohe Werte glätten die Verteilung, sodass seltenere Tokens öfter gewählt werden.

[Texterkennung (OCR)](https://broadrouter.com/de/glossary/ocr/)

Optische Zeichenerkennung (OCR) ist eine Technik, die gedruckten oder handgeschriebenen Text in einem Bild, Scan oder PDF erkennt und in maschinenlesbare Zeichen umwandelt. Klassische OCR liefert Text und seine Position auf der Seite; Vision-Language-Modelle können Text lesen und direkt Fragen dazu beantworten.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Tokenizer](https://broadrouter.com/de/glossary/tokenizer/)

Ein Tokenizer ist die Komponente, die Text in die Folge ganzzahliger Token-IDs umwandelt, die ein Sprachmodell liest, und erzeugte IDs wieder in Text zurückverwandelt. Jedes Modell bringt seinen eigenen Tokenizer mit, daher kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Tokens ergeben.

[Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/)

Tokens pro Sekunde (TPS) sind die Rate, mit der ein Sprachmodell Output-Tokens erzeugt, meist gemessen für eine Anfrage nach Ankunft ihres ersten Tokens. Sie bestimmen, wie schnell eine Antwort streamt, sobald sie begonnen hat. Über alle gleichzeitigen Anfragen addiert ergibt sich der Systemdurchsatz; die Wartezeit bis zum ersten Token wird getrennt gemessen.

[Top-p (Nucleus Sampling)](https://broadrouter.com/de/glossary/top-p/)

Top-p, auch Nucleus Sampling genannt, ist ein Decoding-Verfahren, bei dem ein Sprachmodell das nächste Token nur aus der kleinsten Menge der wahrscheinlichsten Tokens zieht, deren gemeinsame Wahrscheinlichkeit einen Schwellenwert p erreicht, etwa 0,9. Der unwahrscheinliche Rest wird verworfen.

[Vision-Language-Modell (VLM)](https://broadrouter.com/de/glossary/vision-language-model/)

Ein Vision-Language-Modell (VLM) ist ein Modell, das Bilder und Text zusammen als Eingabe nimmt und Text erzeugt. So kann es Bilder beschreiben, Fragen zu ihnen beantworten und Dokumente, Diagramme oder Screenshots lesen. VLMs heißen auch Image-Text-to-Text- oder multimodale Modelle.

[vLLM](https://broadrouter.com/de/glossary/vllm/)

vLLM ist eine Open-Source-Bibliothek für LLM-Inferenz und -Serving, ursprünglich entwickelt im Sky Computing Lab der UC Berkeley. Sie verwaltet den Speicher des KV-Cache mit PagedAttention, bündelt eingehende Requests per Continuous Batching, unterstützt viele Quantisierungsformate und stellt einen OpenAI-kompatiblen HTTP-Server bereit.

[Vokabulargröße (vocabulary size)](https://broadrouter.com/de/glossary/vocabulary-size/)

Die Vokabulargröße ist die Zahl der unterschiedlichen Tokens im Tokenizer eines Sprachmodells, jedes mit eigener ID und eigenem Embedding. Ein größeres Vokabular kann gängigen Text mit weniger Tokens codieren, vergrößert aber die Embedding- und Ausgabeschichten und hilft nur bei Text, auf dem das Vokabular trainiert wurde.

## Preise und Abrechnung

[Ausgabenlimit (Spend Limit)](https://broadrouter.com/de/glossary/spend-limit/)

Ein Ausgabenlimit (Spend Limit) ist eine Obergrenze dafür, wie viel ein API-Konto, Projekt oder Schlüssel in einem Zeitraum ausgeben darf, meist pro Monat. Ist sie erreicht, lehnt der Anbieter weitere Anfragen ab, oft mit HTTP 429 oder 400, bis der Zeitraum neu beginnt oder das Limit erhöht wird.

[Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/)

Gecachte Input-Tokens sind Prompt-Tokens, die ein LLM-Anbieter kürzlich verarbeitet hat und aus einem Cache wiederverwenden kann, statt sie neu zu berechnen, meist ein wiederholtes Präfix wie ein System-Prompt oder ein Dokument. Anbieter berechnen sie günstiger als neue Input-Tokens.

[GPU-Stunde (GPU-hour)](https://broadrouter.com/de/glossary/gpu-hour/)

Eine GPU-Stunde ist ein Grafikprozessor, eine Stunde lang genutzt. Cloud-Anbieter rechnen gemietete GPU-Instanzen pro Stunde oder Sekunde ab, und Forschende geben in GPU-Stunden an, wie viel Rechenleistung ein Job brauchte. Sie zahlen für die Zeit der Maschine, ob sie ausgelastet ist oder nicht.

[Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/)

Input-Tokens sind die Tokens, die ein Sprachmodell in einer Anfrage liest, einschließlich System-Prompt, Gesprächsverlauf, Tool-Definitionen und Bildern. Output-Tokens sind die Tokens, die es als Antwort erzeugt, einschließlich Reasoning. LLM-APIs berechnen beide meist getrennt, und Output ist in der Regel teurer.

[LLM-Flatrate (Flat-rate LLM plan)](https://broadrouter.com/de/glossary/flat-rate-llm-plan/)

Eine LLM-Flatrate ist ein Plan, der für den Zugang zu einer Sprachmodell-API einen Festpreis pro Zeitraum, etwa pro Monat, berechnet statt pro Token. Solche Pläne begrenzen meist etwas anderes, etwa Parallelität, Geschwindigkeit, Modelle oder Nutzungsfenster. Die Limits zählen also so viel wie der Preis.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Prepaid-Guthaben (Prepaid Credit)](https://broadrouter.com/de/glossary/prepaid-credit/)

Prepaid-Guthaben ist Geld, das vor der Nutzung auf ein API-Konto eingezahlt wird. Jede Anfrage zieht ihre Kosten vom Guthaben ab, und wenn es aufgebraucht ist, stoppen abgerechnete Anfragen, bis Sie aufladen. So sind die Ausgaben auf das eingezahlte Geld begrenzt.

## Datenschutz und Sicherheit

[API-Schlüssel (API Key)](https://broadrouter.com/de/glossary/api-key/)

Ein API-Schlüssel ist eine geheime Zeichenfolge, die einen Client beim Aufruf einer API identifiziert und autorisiert. LLM-APIs erwarten ihn meist im Header Authorization: Bearer, und wer den Schlüssel besitzt, kann Anfragen stellen, die dem Konto des Inhabers berechnet werden.

[Auftragsverarbeitungsvertrag (AVV, DPA)](https://broadrouter.com/de/glossary/dpa/)

Ein Auftragsverarbeitungsvertrag (AVV, englisch Data Processing Agreement, DPA) ist der Vertrag zwischen Verantwortlichem und Auftragsverarbeiter, der regelt, wie dieser mit personenbezogenen Daten umgeht. Artikel 28 Absatz 3 DSGVO schreibt ihn vor und nennt seine Inhalte: dokumentierte Weisungen, Vertraulichkeit, Sicherheit, Regeln für Unterauftragsverarbeiter, Löschung oder Rückgabe der Daten und Audits.

[Datenresidenz (Data Residency)](https://broadrouter.com/de/glossary/data-residency/)

Datenresidenz ist eine Anforderung oder Zusage, dass Daten in einem bestimmten Land oder einer bestimmten Region gespeichert und verarbeitet werden. Bei einer LLM-API betrifft sie, wo Prompts bei der Inferenz verarbeitet werden und wo gespeicherte Inhalte liegen; Konto- und Abrechnungsdaten sind oft ausgenommen.

[DSGVO (GDPR)](https://broadrouter.com/de/glossary/gdpr/)

Die DSGVO (Datenschutz-Grundverordnung, Verordnung (EU) 2016/679, englisch GDPR) ist das EU-Gesetz zur Verarbeitung personenbezogener Daten. Sie gilt seit dem 25. Mai 2018 für Organisationen mit Sitz in der EU und für manche außerhalb. Bei LLM-APIs regelt sie Auftragsverarbeitungsverträge, internationale Übermittlungen und Datenminimierung.

[Guardrails (Leitplanken für LLMs)](https://broadrouter.com/de/glossary/guardrails/)

Guardrails sind Prüfungen, die eine Anwendung rund um den Aufruf eines Sprachmodells ausführt, um es innerhalb festgelegter Grenzen zu halten. Input-Guardrails prüfen, was ins Modell geht, Output-Guardrails, was herauskommt, und Tool-Guardrails validieren Aktionen vor der Ausführung. Eine fehlgeschlagene Prüfung blockiert, ändert oder markiert die Anfrage.

[IP-Allowlist (IP allow list)](https://broadrouter.com/de/glossary/ip-allow-list/)

Eine IP-Allowlist ist eine Sicherheitskontrolle, die nur Anfragen von gelisteten IP-Adressen oder CIDR-Bereichen annimmt und alle anderen ablehnt. Bei einer API begrenzt sie den Schaden eines geleakten Schlüssels, weil der Schlüssel aus nicht gelisteten Netzen nicht funktioniert.

[Jailbreak (LLM)](https://broadrouter.com/de/glossary/jailbreak/)

Ein Jailbreak ist eine Eingabe, die ein Sprachmodell dazu bringen soll, sein Sicherheitstraining oder die Regeln der einsetzenden Anwendung zu ignorieren, sodass es Inhalte erzeugt oder Aktionen ausführt, die es normalerweise verweigern würde. OWASP behandelt Jailbreaking als eine Form von Prompt Injection.

[PDPL (Datenschutzgesetze Saudi-Arabiens und der VAE)](https://broadrouter.com/de/glossary/pdpl/)

PDPL (Personal Data Protection Law) ist die gängige Bezeichnung für das saudische Gesetz über personenbezogene Daten, erlassen per Königlichem Dekret M/19 und durchgesetzt von der SDAIA, und für das Bundesgesetzesdekret Nr. 45 von 2021 der VAE. Beide regeln die Verarbeitung personenbezogener Daten und die Bedingungen für Übermittlungen ins Ausland, auch von Prompts an ausländische LLM-APIs.

[PII (personenbezogene Daten)](https://broadrouter.com/de/glossary/pii/)

PII (personally identifiable information) sind Informationen, mit denen sich die Identität einer Person unterscheiden oder zurückverfolgen lässt, etwa Name, Ausweisnummer oder biometrische Daten, plus weitere Informationen, die mit dieser Person verknüpft oder verknüpfbar sind. Der weitere Begriff der DSGVO lautet personenbezogene Daten. Bei LLMs entfernt PII-Schwärzung sie aus Prompts, bevor diese Ihre Systeme verlassen.

[Prompt Injection](https://broadrouter.com/de/glossary/prompt-injection/)

Prompt Injection ist ein Angriff, bei dem Text, den ein Nutzer einem Sprachmodell liefert oder der in einer Webseite, E-Mail, Datei oder einem Tool-Ergebnis versteckt ist, das Verhalten des Modells gegen die Absicht des Entwicklers ändert. OWASP führt sie in seinen Top 10 für LLM-Anwendungen auf Platz eins (LLM01:2025).

[Unterauftragsverarbeiter (Subprocessor)](https://broadrouter.com/de/glossary/subprocessor/)

Ein Unterauftragsverarbeiter (Subprocessor) ist ein Dritter, den ein Auftragsverarbeiter mit der Verarbeitung personenbezogener Daten im Auftrag des Verantwortlichen betraut. Bei einer LLM-API können das GPU-Hosts, Partner-Inferenzanbieter und Backup-Kapazität sein. Nach Artikel 28 DSGVO brauchen sie die Genehmigung des Verantwortlichen und dieselben Datenschutzpflichten.

[Zero Data Retention (ZDR)](https://broadrouter.com/de/glossary/zero-data-retention/)

Zero Data Retention (ZDR) ist eine Datenrichtlinie, bei der ein KI-Anbieter Prompts und Outputs nur zur Bearbeitung einer Anfrage verarbeitet und diese Inhalte danach nicht speichert, weder in Logs noch in Caches oder Trainingsdaten. Inhaltsfreie Daten wie Token-Zahlen und Zeiten werden meist weiterhin aufbewahrt.

## Sprache

[Abtastrate (Sample Rate)](https://broadrouter.com/de/glossary/sample-rate/)

Die Abtastrate (Sample Rate) ist die Zahl der Audio-Samples, die pro Sekunde erfasst werden, gemessen in Hertz (Hz). Spracherkennungsmodelle erwarten meist 16.000 Hz (16 kHz) mono. Zusammen mit Bittiefe und Kanalzahl bestimmt die Abtastrate, wie groß eine unkomprimierte Audiodatei pro Minute ist.

[Code-Switching](https://broadrouter.com/de/glossary/code-switching/)

Code-Switching ist die Verwendung von zwei oder mehr Sprachen oder Varietäten einer Sprache im selben Gespräch oder Satz, mündlich oder schriftlich. Beispiele sind Arabischsprachige, die englische Wörter in ihren Dialekt mischen oder zwischen modernem Hocharabisch und ihrem Dialekt wechseln.

[Ogg Opus](https://broadrouter.com/de/glossary/ogg-opus/)

Ogg Opus ist Audio, das mit dem Opus-Codec (RFC 6716) codiert und in einem Ogg-Container (RFC 7845) gespeichert ist. Es ist für Sprache und interaktives Audio bei niedrigen Bitraten gebaut und das Format, das WhatsApp für Sprachnachrichten nutzt, meist als .ogg- oder .opus-Datei.

[Speech-to-Text (Spracherkennung)](https://broadrouter.com/de/glossary/speech-to-text/)

Speech-to-Text, auch automatische Spracherkennung (ASR), ist eine Technik, die gesprochenes Audio in geschriebenen Text umwandelt. Eine Speech-to-Text API nimmt eine Audiodatei oder einen Stream entgegen und liefert ein Transkript, meist abgerechnet pro Audiominute. Die Genauigkeit wird mit der Wortfehlerrate gemessen und hängt von Akzent, Dialekt und Aufnahmequalität ab.

[Sprachaktivitätserkennung (Voice Activity Detection, VAD)](https://broadrouter.com/de/glossary/vad/)

Voice Activity Detection (VAD, Sprachaktivitätserkennung) ist ein Schritt der Signalverarbeitung, der kurze Audio-Frames als Sprache oder Nicht-Sprache einstuft. Sprachsysteme nutzen sie, um Stille zu überspringen, lange Aufnahmen an Pausen zu teilen, das Ende eines Redebeitrags zu erkennen und Hintergrundgeräusche nicht zu transkribieren.

[Sprecherdiarisierung (Speaker Diarization)](https://broadrouter.com/de/glossary/diarization/)

Sprecherdiarisierung ist die Aufgabe, eine Audioaufnahme nach Sprechern in Segmente zu teilen, also die Frage „Wer hat wann gesprochen?“ zu beantworten. Jeder Sprachabschnitt erhält eine anonyme Sprecher-ID wie SPEAKER\_00; kombiniert mit einem Transkript zeigt das, welche Person welche Zeile gesagt hat.

[SRT-Untertitel](https://broadrouter.com/de/glossary/srt-subtitles/)

SRT (SubRip) ist ein Untertitelformat in Klartext. Jeder Untertitel besteht aus einer laufenden Nummer, einer Start- und Endzeit im Format hh:mm:ss,mmm --> hh:mm:ss,mmm, einer oder mehreren Textzeilen und einer Leerzeile. WebVTT ist das ähnliche Webformat, das HTML-Video verwendet.

[Text-to-Speech (TTS, Sprachsynthese)](https://broadrouter.com/de/glossary/text-to-speech/)

Text-to-Speech (TTS), auch Sprachsynthese, wandelt geschriebenen Text in gesprochenes Audio um. Eine TTS-API nimmt Text, eine Stimme und ein Ausgabeformat wie MP3 oder WAV entgegen und liefert erzeugte Sprache. Es ist das Gegenstück zu Speech-to-Text, das Audio in Text umwandelt.

[WAV](https://broadrouter.com/de/glossary/wav/)

WAV (Waveform Audio File Format, auch WAVE) ist ein Audiocontainer auf Basis des RIFF-Formats von Microsoft und IBM. Er enthält meist unkomprimierte lineare PCM-Samples, daher ist seine Größe vorhersehbar: Abtastrate mal Bytes pro Sample mal Kanäle, pro Sekunde.

[Wortfehlerrate (Word Error Rate, WER)](https://broadrouter.com/de/glossary/word-error-rate/)

Die Wortfehlerrate (WER) ist das Standardmaß für die Genauigkeit der Spracherkennung: die Zahl der Wortersetzungen, -löschungen und -einfügungen, die nötig sind, um ein Transkript in die korrekte Referenz zu verwandeln, geteilt durch die Zahl der Wörter in der Referenz. Niedriger ist besser.

[Zeichenfehlerrate (Character Error Rate, CER)](https://broadrouter.com/de/glossary/character-error-rate/)

Die Zeichenfehlerrate (CER) misst die Genauigkeit von Transkription oder OCR auf Zeichenebene: die Ersetzungen, Löschungen und Einfügungen, die nötig sind, um die Ausgabe in den Referenztext zu verwandeln, geteilt durch die Zahl der Zeichen in der Referenz. Niedriger ist besser, 0 bedeutet volle Übereinstimmung.

[Zeitstempel (Speech-to-Text)](https://broadrouter.com/de/glossary/timestamps-asr/)

Zeitstempel bei Speech-to-Text sind Start- und Endzeiten in Sekunden, die Teilen eines Transkripts zugeordnet sind. Segment-Zeitstempel gelten für eine Wendung oder einen Satz, Wort-Zeitstempel für jedes Wort. Man braucht sie für Untertitel, die Suche in Aufnahmen und die Zuordnung von Text zu Sprechern.

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary&utm_content=page-cta) ·

**Quellen**

-   [API-Referenz (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary&utm_content=sources)
