Uma alucinação se lê exatamente como uma resposta correta. É isso que a torna cara.
Como funciona
Um modelo de linguagem escreve os próximos tokens mais plausíveis a partir do treinamento e do prompt. Nada nesse ciclo confere um fato com o mundo real. Quando o modelo não tem a resposta, uma resposta com cara de plausível continua disponível.
Kalai e colegas, em um artigo de 2025, argumentam que as alucinações persistem porque “training and evaluation procedures reward guessing over acknowledging uncertainty” (tradução: os procedimentos de treinamento e avaliação premiam o chute mais do que a admissão de incerteza). A maioria dos benchmarks dá crédito a um chute certo e nada a uma abstenção, então os modelos são ajustados para ir bem em prova. Os autores também ligam os erros a uma origem estatística: se um modelo não consegue distinguir com confiabilidade afirmações verdadeiras de falsas, o pré-treinamento vai produzir afirmações falsas.
Formas comuns no trabalho com APIs:
- citações, URLs ou frases inventadas
- números errados no resumo de um documento correto
- métodos ou parâmetros de API que não existem
- respostas a perguntas que o contexto fornecido não cobre
Por que isso importa
O custo aparece depois: um bot de suporte que inventa uma política de reembolso, um relatório com o total errado, um código que chama uma função inexistente. Perto disso, as correções são baratas:
- Ancore a resposta. Coloque o texto de origem no prompt ou busque-o com RAG. Lewis e colegas concluíram que a geração aumentada por recuperação é mais “factual” do que uma baseline só paramétrica. Veja grounding.
- Permita o “não sei”. A Anthropic lista a permissão explícita para admitir incerteza como um passo básico.
- Peça citações e depois confira. Faça o modelo citar um trecho que apoie cada afirmação e descarte as afirmações sem trecho.
- Meça. Monte um eval com perguntas que não têm resposta no contexto e acompanhe com que frequência o modelo inventa uma. Os logprobs podem sinalizar respostas de baixa confiança quando a API os devolve.
- Verifique no código. Totais, datas e IDs podem ser conferidos sem um modelo.
Baixar a temperatura ajuda contra o desvio em textos longos, não contra erros confiantes.
Na BroadNet Inference
A documentação da BroadNet não publica taxas de alucinação dos seus modelos nem lista recursos de guardrails ou checagem de fatos, então esses controles ficam na sua aplicação. Um contexto grande ajuda no grounding: DeepSeek V4.1 Flash e GLM 5.3 aceitam 1.048.576 tokens por requisição, o suficiente para incluir os documentos de origem completos. Para pipelines de recuperação em árabe, veja RAG em árabe; para conferir campos extraídos com a imagem, veja o guia de notas fiscais.