ガードレールは、モデルの周りに巡らせるチェックです。悪い入力や悪い出力を、ユーザーに届く前にコードの段階で止めます。
仕組み
OpenAI Agents SDK はガードレールを “checks and validations of user input and agent output”(訳:ユーザー入力とエージェント出力のチェックと検証)と説明し、3 つの種類を定義しています。
| 種類 | 実行タイミング | 典型的なチェック |
|---|---|---|
| 入力 | 最初のモデル呼び出しの前、または並行して | 話題外、攻撃的、インジェクションを含むリクエスト |
| 出力 | 最終回答の後 | 機密の漏えい、ポリシー違反、形式の誤り |
| ツール | 関数ツールの実行前後 | 引数が範囲内か、破壊的な操作でないか |
チェックに失敗すると、「トリップワイヤー」(tripwire)が例外を発生させて実行を止めます。入力チェックはブロッキング型(メインのモデルはまったく動かない)にも、並行型(レイテンシは小さいが、トリップワイヤーが作動した時点でトークンやツール呼び出しをすでに消費していることがある)にもできます。
NVIDIA のオープンソースの NeMo Guardrails ライブラリは、入力、検索、対話、実行、出力の 5 段階のレールを使います。Anthropic のドキュメントは “harmlessness screen”(訳:無害性スクリーニング)を勧めています。小さく高速なモデルで、ユーザー入力がメインの会話に届く前に分類し、構造化出力を使って判定結果を解析可能な true か false にする方法です。
すべてのガードレールにモデルが必要なわけではありません。正規表現フィルター、許可リスト、JSON Schema による検証、長さの制限は、安価で結果が決定的です。
なぜ重要か
- 安全性。 ガードレールは、プロンプトインジェクションやジェイルブレイクに対する防御の 1 層です。1 つの層ですべてを止めることはできません。
- コスト。 安価なスクリーニングで、高価なモデルが 100,000 トークンのコンテキストを読む前にリクエストを却下できます。
- エージェント。 メールを送ったりデータを編集したりするエージェントには、最終的なテキストへのフィルターだけでなく、ツール単位のチェックと、リスクの高い手順での人間の承認が必要です。
- 測定する。 正当なリクエストをブロックするガードレールはバグです。eval セットで誤検知を追跡してください。
BroadNet Inference では
BroadNet のドキュメントには、ガードレール、モデレーション用エンドポイント、コンテンツフィルターの記載はありません。ガードレールはアプリケーション側の仕事として扱ってください。よくあるのは、BroadNet Gemma 4 VL 26B(入力 100 万トークンあたり $0.10)のような小さなモデルでスクリーニングし、そのあと大きなモデルでメインの呼び出しを行うパターンです。入力に個人データが含まれる場合は、LLM API に機密データを送るときを参照してください。