BroadRouter
Commencer

Température (temperature)

Mis à jour

La température est un paramètre d’échantillonnage qui règle le degré de hasard de la sortie d’un modèle de langage. Le modèle divise les scores des tokens par la température avant de les convertir en probabilités : une valeur basse fait dominer le token le plus probable, une valeur haute aplatit la distribution et favorise les tokens moins probables.

Aussi appelé : température, température LLM, paramètre de température, température d’échantillonnage, temperature, sampling temperature, LLM temperature, temperature parameter

La température est le curseur entre « toujours la même réponse » et « une réponse différente à chaque fois ».

Comment ça marche

Un modèle produit un score (un logit) pour chaque token qu’il pourrait écrire ensuite. Un softmax transforme ces scores en probabilités. La température divise d’abord chaque score. Hinton et ses coauteurs écrivent le softmax avec ce T et notent que « using a higher value for T produces a softer probability distribution over classes » (traduction : « une valeur plus élevée de T produit une distribution de probabilités plus douce sur les classes »).

  • T inférieur à 1 accentue la distribution. Le token en tête l’emporte plus souvent.
  • T = 1 laisse les probabilités telles que le modèle les a apprises.
  • T supérieur à 1 les aplatit. Les tokens rares sont choisis plus souvent.
  • T proche de 0 se rapproche du greedy decoding : on prend toujours le token le plus probable.

L’API d’OpenAI accepte des valeurs « between 0 and 2 » (traduction : « entre 0 et 2 ») avec 1 par défaut. Sa référence indique que 0,8 rend la sortie « more random » (traduction : « plus aléatoire ») et 0,2 « more focused and deterministic » (traduction : « plus ciblée et déterministe »). Elle recommande aussi « altering this or top_p but not both » (traduction : « de modifier ce paramètre ou top_p, mais pas les deux »), car le top-p est une deuxième façon de réduire le hasard.

Les modèles ouverts arrivent souvent avec leurs propres valeurs par défaut. Hugging Face Transformers lit la température dans le generation_config.json d’un modèle et se rabat sur 1.0 s’il est absent. Une pile de service peut utiliser l’une ou l’autre valeur.

Pourquoi c’est important

  • Reproductibilité. L’extraction, le routage et la sortie structurée ont besoin de réponses stables. Une température plus basse réduit les écarts entre exécutions.
  • Qualité. Trop haute, le modèle dérive vers des choix de mots étranges ou des détails inventés, ce qui alimente les hallucinations. Trop basse, un long texte peut tourner en boucle : Hugging Face note que le greedy decoding « begins to repeat itself » (traduction : « commence à se répéter ») sur les séquences longues.
  • Évaluation. Quand vous comparez des modèles, fixez la température. Sinon, vous mesurez du bruit d’échantillonnage. Observer les logprobs montre la marge dont disposait le modèle.

La température ne change ni le prix ni la vitesse. Un token coûte la même chose quel que soit le réglage.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente pas temperature, ni sa plage autorisée, ni sa valeur par défaut, pour aucun modèle. Les exemples de requêtes ne la définissent pas. L’API étant compatible OpenAI, les SDK envoient le champ, mais rien n’indique si chaque modèle le respecte. Définissez-la explicitement et lancez le même prompt plusieurs fois pour voir la dispersion. Le guide du SDK Python d’OpenAI montre la configuration du client.

Erreurs fréquentes

  • Utiliser une température de 0 et supposer une sortie identique pour toujours. Conservez les réponses que vous devez reproduire.
  • Augmenter la température pour corriger une mauvaise réponse. Un meilleur prompt ou plus de contexte améliore la justesse ; la température ne change que la variété.

Questions fréquentes

Quelle température utiliser ?

Des valeurs basses, de 0 à 0,3, pour l’extraction, la classification et le code, quand vous voulez la même réponse à chaque fois. Des valeurs plus hautes, de 0,7 à 1, pour le brainstorming et des formulations variées. Testez les deux sur vos propres prompts.

Une température de 0 rend-elle la sortie déterministe ?

Ce n’est pas garanti. Elle pousse le modèle vers le token le plus probable à chaque fois, mais les fournisseurs ne promettent généralement pas une sortie identique d’une exécution à l’autre. Conservez toute réponse que vous devez reproduire.

Quelle est la température par défaut chez BroadNet ?

La documentation de BroadNet n’indique de température par défaut pour aucun modèle. Définissez-la explicitement dans chaque requête si votre sortie en dépend.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity