Guardrails — это проверки, которыми вы окружаете модель, чтобы плохой вход или плохой ответ останавливался в вашем коде, а не доходил до пользователя.
Как это работает
OpenAI Agents SDK описывает guardrails как “checks and validations of user input and agent output” (перевод: «проверки и валидацию пользовательского ввода и вывода агента») и выделяет три вида:
| Вид | Когда выполняется | Типичная проверка |
|---|---|---|
| Входной | До первого вызова модели или параллельно с ним | Запросы не по теме, оскорбительные или с инъекциями |
| Выходной | После финального ответа | Утечки секретов, нарушения политики, неверный формат |
| Инструментальный | До и после выполнения инструмента-функции | Аргументы в допустимом диапазоне, никаких разрушительных действий |
Когда проверка не проходит, срабатывает “tripwire” (перевод: «растяжка»): выбрасывается исключение, и выполнение останавливается. Входные проверки бывают блокирующими (основная модель вообще не запускается) или параллельными (задержка меньше, но к моменту срабатывания растяжки токены и вызовы инструментов уже могут быть потрачены).
Открытая библиотека NVIDIA NeMo Guardrails использует пять этапов: ограничители входа, поиска, диалога, выполнения и выхода. Документация Anthropic предлагает “harmlessness screen” (перевод: «фильтр безвредности»): небольшую быструю модель, которая классифицирует пользовательский ввод до того, как он попадёт в основной диалог, со структурированным выводом, чтобы вердикт был разбираемым true или false.
Не каждому ограничителю нужна модель. Фильтры на регулярных выражениях, списки разрешённого, проверка по JSON Schema и ограничения длины дёшевы и детерминированы.
Почему это важно
- Безопасность. Guardrails — один из уровней защиты от промпт-инъекций и джейлбрейков. Ни один уровень не останавливает их все.
- Стоимость. Дешёвый фильтр может отклонить запрос до того, как дорогая модель прочитает 100 000 токенов контекста.
- Агенты. Агенту, который отправляет письма или редактирует данные, нужны проверки на уровне инструментов и одобрение человеком для рискованных шагов, а не только фильтр на финальном тексте.
- Измеряйте их. Ограничитель, который блокирует хорошие запросы, — это баг. Отслеживайте ложные срабатывания с помощью набора eval.
В BroadNet Inference
В документации BroadNet нет guardrails, эндпоинтов модерации или фильтров контента. Считайте guardrails задачей вашего приложения. Распространённая схема — фильтр на меньшей модели, например BroadNet Gemma 4 VL 26B ($0.10 за 1 млн входных токенов), а затем основной вызов к более крупной модели. Если во входах есть персональные данные, см. статью об отправке чувствительных данных в LLM API.