BroadRouter

Guardrails (Leitplanken für LLMs)

Aktualisiert

Guardrails sind Prüfungen, die eine Anwendung rund um den Aufruf eines Sprachmodells ausführt, um es innerhalb festgelegter Grenzen zu halten. Input-Guardrails prüfen, was ins Modell geht, Output-Guardrails, was herauskommt, und Tool-Guardrails validieren Aktionen vor der Ausführung. Eine fehlgeschlagene Prüfung blockiert, ändert oder markiert die Anfrage.

Auch genannt: Guardrails, LLM-Guardrails, KI-Guardrails, Leitplanken, KI-Leitplanken, Input-Guardrails, Output-Guardrails, Sicherheitsfilter, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails sind die Prüfungen, die Sie um ein Modell legen, damit ein schlechter Input oder Output in Ihrem Code hängen bleibt und nicht bei Ihren Nutzern ankommt.

So funktioniert es

Das OpenAI Agents SDK beschreibt Guardrails als „checks and validations of user input and agent output“ (Übersetzung: „Prüfungen und Validierungen von Nutzer-Input und Agenten-Output“) und definiert drei Arten:

Art Läuft Typische Prüfung
Input Vor oder parallel zum ersten Modellaufruf Themenfremde, missbräuchliche oder eingeschleuste Anfragen
Output Nach der finalen Antwort Geleakte Secrets, Richtlinienverstöße, falsches Format
Tool Vor und nach der Ausführung eines Function Tools Argumente im zulässigen Bereich, keine destruktive Aktion

Schlägt eine Prüfung fehl, löst ein „Tripwire“ eine Exception aus und stoppt den Lauf. Input-Prüfungen können blockierend sein (das Hauptmodell startet gar nicht) oder parallel laufen (geringere Latenz, aber Tokens und Tool-Aufrufe können schon verbraucht sein, wenn das Tripwire auslöst).

Die Open-Source-Bibliothek NeMo Guardrails von NVIDIA nutzt fünf Stufen: Input-, Retrieval-, Dialog-, Execution- und Output-Rails. Die Dokumentation von Anthropic schlägt einen „harmlessness screen“ (Übersetzung: „Unbedenklichkeitsprüfung“) vor: ein kleines, schnelles Modell, das den Nutzer-Input klassifiziert, bevor er das Hauptgespräch erreicht, mit strukturierter Ausgabe, damit das Urteil ein parsebares true oder false ist.

Nicht jede Guardrail braucht ein Modell. Regex-Filter, Allow-Lists, Validierung per JSON Schema und Längenlimits sind günstig und deterministisch.

Warum es wichtig ist

  • Sicherheit. Guardrails sind eine Verteidigungsschicht gegen Prompt Injection und Jailbreaks. Keine einzelne Schicht hält alle auf.
  • Kosten. Ein günstiger Vorfilter kann eine Anfrage ablehnen, bevor ein teures Modell 100.000 Tokens Kontext liest.
  • Agenten. Ein Agent, der E-Mails sendet oder Daten ändert, braucht Prüfungen auf Tool-Ebene und menschliche Freigabe für riskante Schritte, nicht nur einen Filter auf dem finalen Text.
  • Messen Sie sie. Eine Guardrail, die gute Anfragen blockiert, ist ein Bug. Verfolgen Sie False Positives mit einem Eval-Set.

Bei BroadNet Inference

Die Dokumentation von BroadNet nennt keine Guardrails, keine Moderations-Endpunkte und keine Inhaltsfilter. Betrachten Sie Guardrails als Aufgabe Ihrer Anwendung. Ein verbreitetes Muster ist ein Vorfilter auf einem kleineren Modell wie BroadNet Gemma 4 VL 26B ($0.10 pro 1M Input-Tokens), danach der Hauptaufruf auf einem größeren Modell. Wenn Inputs personenbezogene Daten enthalten, lesen Sie sensible Daten an eine LLM-API senden.

Häufige Fragen

Sind Guardrails Teil des Modells?

Nein. Modelle haben eigene antrainierte Verweigerungen, aber Guardrails sind separater Code oder separate Modellaufrufe, die Ihre Anwendung vor und nach dem Hauptaufruf ausführt. Sie entscheiden, was geprüft wird.

Erhöhen Guardrails die Latenz?

Eine blockierende Input-Prüfung fügt einen zusätzlichen Aufruf ein, bevor das Hauptmodell startet. Das OpenAI Agents SDK kann Input-Guardrails stattdessen parallel ausführen; das spart Zeit, kann aber Tokens verbrauchen, bevor die Prüfung auslöst.

Enthält BroadNet Inference Guardrails?

Die Dokumentation von BroadNet nennt weder Guardrails noch Inhaltsfilter als Funktion. Bauen Sie sie in Ihre Anwendung ein, etwa mit einem kleinen Modell als Vorfilter und Schema-Validierung der Outputs.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen