A temperatura é o botão entre “sempre a mesma resposta” e “uma resposta diferente a cada vez”.
Como funciona
Um modelo produz uma pontuação (um logit) para cada token que ele poderia escrever em seguida. Uma softmax transforma as pontuações em probabilidades. Antes disso, a temperatura divide cada pontuação. Hinton e colegas escrevem a softmax com esse T e observam que “using a higher value for T produces a softer probability distribution over classes” (tradução: usar um valor mais alto de T produz uma distribuição de probabilidade mais suave entre as classes).
- T abaixo de 1 deixa a distribuição mais concentrada. O token do topo vence com mais frequência.
- T = 1 mantém as probabilidades do modelo como saíram do treinamento.
- T acima de 1 achata as probabilidades. Tokens raros são escolhidos mais vezes.
- T perto de 0 se aproxima do greedy decoding: sempre pegar o token mais provável.
A API da OpenAI aceita valores “between 0 and 2” (tradução: entre 0 e 2), com padrão 1. A referência diz que 0,8 deixa a saída “more random” (mais aleatória) e 0,2 “more focused and deterministic” (mais focada e determinística). Ela também recomenda “altering this or top_p but not both” (tradução: alterar este ou top_p, mas não os dois), porque top-p é uma segunda forma de reduzir a aleatoriedade.
Modelos abertos costumam vir com seus próprios padrões. O Hugging Face Transformers lê a temperatura do generation_config.json do modelo e usa 1.0 se ela não estiver lá. Uma stack de serving pode usar qualquer um dos dois valores.
Por que isso importa
- Repetibilidade. Extração, roteamento e saída estruturada precisam de respostas estáveis. Uma temperatura mais baixa reduz a variação entre execuções.
- Qualidade. Alta demais, o modelo começa a escolher palavras estranhas ou inventar detalhes, o que alimenta a alucinação. Baixa demais, textos longos podem entrar em loop: o Hugging Face observa que o greedy decoding “begins to repeat itself” (tradução: começa a se repetir) em sequências mais longas.
- Avaliação. Ao comparar modelos, fixe a temperatura. Caso contrário, você está medindo ruído de amostragem. Olhar os logprobs mostra quanta margem o modelo tinha.
A temperatura não muda o preço nem a velocidade. Um token custa o mesmo em qualquer configuração.
Na BroadNet Inference
A referência da API da BroadNet não documenta temperature, a faixa permitida nem o padrão para nenhum modelo. Os exemplos de requisição não definem esse campo. Como a API é compatível com a OpenAI, os SDKs vão enviar o campo, mas não está dito se cada modelo o respeita. Defina o valor explicitamente e rode o mesmo prompt várias vezes para ver a variação. O guia do SDK Python da OpenAI mostra como configurar o client.
Erros comuns
- Usar temperatura 0 e presumir que a saída será idêntica para sempre. Guarde as respostas que você precisa reproduzir.
- Aumentar a temperatura para corrigir uma resposta errada. Um prompt melhor ou mais contexto corrige a precisão; a temperatura só muda a variedade.