BroadRouter
Começar

Temperatura (temperature)

Atualizado em

Temperatura é um parâmetro de amostragem que controla quão aleatória é a saída de um modelo de linguagem. O modelo divide as pontuações dos tokens pela temperatura antes de transformá-las em probabilidades: valores baixos fazem o token mais provável dominar; valores altos achatam a distribuição, e tokens menos prováveis são escolhidos com mais frequência.

Também chamado de: temperatura, temperatura do LLM, temperatura de amostragem, parâmetro temperature, temperature, sampling temperature, LLM temperature, temperature parameter

A temperatura é o botão entre “sempre a mesma resposta” e “uma resposta diferente a cada vez”.

Como funciona

Um modelo produz uma pontuação (um logit) para cada token que ele poderia escrever em seguida. Uma softmax transforma as pontuações em probabilidades. Antes disso, a temperatura divide cada pontuação. Hinton e colegas escrevem a softmax com esse T e observam que “using a higher value for T produces a softer probability distribution over classes” (tradução: usar um valor mais alto de T produz uma distribuição de probabilidade mais suave entre as classes).

  • T abaixo de 1 deixa a distribuição mais concentrada. O token do topo vence com mais frequência.
  • T = 1 mantém as probabilidades do modelo como saíram do treinamento.
  • T acima de 1 achata as probabilidades. Tokens raros são escolhidos mais vezes.
  • T perto de 0 se aproxima do greedy decoding: sempre pegar o token mais provável.

A API da OpenAI aceita valores “between 0 and 2” (tradução: entre 0 e 2), com padrão 1. A referência diz que 0,8 deixa a saída “more random” (mais aleatória) e 0,2 “more focused and deterministic” (mais focada e determinística). Ela também recomenda “altering this or top_p but not both” (tradução: alterar este ou top_p, mas não os dois), porque top-p é uma segunda forma de reduzir a aleatoriedade.

Modelos abertos costumam vir com seus próprios padrões. O Hugging Face Transformers lê a temperatura do generation_config.json do modelo e usa 1.0 se ela não estiver lá. Uma stack de serving pode usar qualquer um dos dois valores.

Por que isso importa

  • Repetibilidade. Extração, roteamento e saída estruturada precisam de respostas estáveis. Uma temperatura mais baixa reduz a variação entre execuções.
  • Qualidade. Alta demais, o modelo começa a escolher palavras estranhas ou inventar detalhes, o que alimenta a alucinação. Baixa demais, textos longos podem entrar em loop: o Hugging Face observa que o greedy decoding “begins to repeat itself” (tradução: começa a se repetir) em sequências mais longas.
  • Avaliação. Ao comparar modelos, fixe a temperatura. Caso contrário, você está medindo ruído de amostragem. Olhar os logprobs mostra quanta margem o modelo tinha.

A temperatura não muda o preço nem a velocidade. Um token custa o mesmo em qualquer configuração.

Na BroadNet Inference

A referência da API da BroadNet não documenta temperature, a faixa permitida nem o padrão para nenhum modelo. Os exemplos de requisição não definem esse campo. Como a API é compatível com a OpenAI, os SDKs vão enviar o campo, mas não está dito se cada modelo o respeita. Defina o valor explicitamente e rode o mesmo prompt várias vezes para ver a variação. O guia do SDK Python da OpenAI mostra como configurar o client.

Erros comuns

  • Usar temperatura 0 e presumir que a saída será idêntica para sempre. Guarde as respostas que você precisa reproduzir.
  • Aumentar a temperatura para corrigir uma resposta errada. Um prompt melhor ou mais contexto corrige a precisão; a temperatura só muda a variedade.

Perguntas frequentes

Que temperatura devo usar?

Valores baixos, de 0 a 0,3, para extração, classificação e código, quando você quer a mesma resposta toda vez. Valores mais altos, de 0,7 a 1, para brainstorming e textos mais variados. Teste as duas faixas nos seus próprios prompts.

Temperatura 0 deixa a saída determinística?

Não há garantia. Ela empurra o modelo para o token mais provável toda vez, mas em geral os provedores não prometem saídas idênticas entre execuções. Guarde qualquer resposta que você precise reproduzir.

Qual é a temperatura padrão da BroadNet?

A documentação da BroadNet não informa uma temperatura padrão para nenhum modelo. Defina o valor explicitamente em cada requisição se a sua saída depender dele.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity