BroadRouter

Guardrails (barreiras de proteção para LLM)

Atualizado em

Guardrails são checagens que uma aplicação executa em volta de uma chamada a um modelo de linguagem para mantê-la dentro de limites definidos. Guardrails de entrada filtram o que entra no modelo, os de saída verificam o que sai e os de ferramenta validam ações antes que rodem. Uma checagem que falha bloqueia, reescreve ou sinaliza a requisição.

Também chamado de: guardrails, guardrails de LLM, guardrails de IA, barreiras de proteção, travas de segurança de IA, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails são as checagens que você coloca em volta de um modelo para que uma entrada ou saída ruim pare no seu código, e não no seu usuário.

Como funciona

O OpenAI Agents SDK descreve guardrails como “checks and validations of user input and agent output” (tradução: checagens e validações da entrada do usuário e da saída do agente) e define três tipos:

Tipo Quando roda Checagem típica
Entrada Antes ou junto com a primeira chamada ao modelo Pedidos fora do tema, abusivos ou com injection
Saída Depois da resposta final Segredos vazados, violações de política, formato errado
Ferramenta Antes e depois de uma function tool rodar Argumentos dentro da faixa, nenhuma ação destrutiva

Quando uma checagem falha, um “tripwire” lança uma exceção e interrompe a execução. As checagens de entrada podem ser bloqueantes (o modelo principal nem começa) ou paralelas (latência menor, mas tokens e chamadas de ferramenta podem já ter sido gastos quando o tripwire dispara).

A biblioteca open source NeMo Guardrails, da NVIDIA, usa cinco etapas: rails de entrada, de recuperação, de diálogo, de execução e de saída. A documentação da Anthropic sugere um “harmlessness screen” (filtro de inocuidade): um modelo pequeno e rápido que classifica a entrada do usuário antes que ela chegue à conversa principal, com saída estruturada para o veredito ser um verdadeiro ou falso fácil de interpretar.

Nem todo guardrail precisa de um modelo. Filtros regex, allow-lists, validação com JSON Schema e limites de tamanho são baratos e determinísticos.

Por que isso importa

  • Segurança. Guardrails são uma camada de defesa contra prompt injection e jailbreaks. Nenhuma camada sozinha barra todos.
  • Custo. Um filtro barato pode rejeitar uma requisição antes que um modelo caro leia 100.000 tokens de contexto.
  • Agentes. Um agente que envia e-mails ou edita dados precisa de checagens no nível das ferramentas e de aprovação humana para etapas de alto risco, não só de um filtro no texto final.
  • Meça os guardrails. Um guardrail que bloqueia pedidos legítimos é um bug. Acompanhe os falsos positivos com um conjunto de eval.

Na BroadNet Inference

A documentação da BroadNet não lista guardrails, endpoints de moderação nem filtros de conteúdo. Trate guardrails como tarefa da sua aplicação. Um padrão comum é um filtro em um modelo menor, como o BroadNet Gemma 4 VL 26B ($0.10 por 1M de tokens de entrada), e depois a chamada principal em um modelo maior. Se as entradas tiverem dados pessoais, veja enviar dados sensíveis para uma API de LLM.

Perguntas frequentes

Guardrails fazem parte do modelo?

Não. Os modelos têm recusas próprias aprendidas no treinamento, mas guardrails são código ou chamadas a modelos separados que a sua aplicação executa antes e depois da chamada principal. Você decide o que eles verificam.

Guardrails aumentam a latência?

Uma checagem de entrada bloqueante adiciona uma chamada antes de o modelo principal começar. O OpenAI Agents SDK também pode rodar os guardrails de entrada em paralelo, o que economiza tempo, mas pode gastar tokens antes de a checagem disparar.

A BroadNet Inference inclui guardrails?

A documentação da BroadNet não lista guardrails nem filtros de conteúdo como recurso. Construa-os na sua aplicação, por exemplo com um modelo pequeno como filtro e validação de schema nas saídas.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity