BroadRouter
Inizia

Temperatura (temperature)

Aggiornato

La temperatura è un parametro di campionamento che regola quanto è casuale l’output di un modello linguistico. Il modello divide i punteggi dei token per la temperatura prima di trasformarli in probabilità: con valori bassi domina il token più probabile, con valori alti la distribuzione si appiattisce e i token meno probabili vengono scelti più spesso.

Detto anche: temperatura, temperatura LLM, temperatura di campionamento, parametro temperature, temperature, sampling temperature, LLM temperature, temperature parameter

La temperatura è la manopola tra “sempre la stessa risposta” e “una risposta diversa ogni volta”.

Come funziona

Un modello produce un punteggio (un logit) per ogni token che potrebbe scrivere subito dopo. Una softmax trasforma i punteggi in probabilità. La temperatura divide prima ciascun punteggio. Hinton e colleghi scrivono la softmax con questa T e osservano che “using a higher value for T produces a softer probability distribution over classes” (traduzione: usare un valore più alto di T produce una distribuzione di probabilità più morbida sulle classi).

  • T sotto 1 rende la distribuzione più netta. Il token in cima vince più spesso.
  • T = 1 lascia le probabilità del modello come sono uscite dall’addestramento.
  • T sopra 1 le appiattisce. I token rari vengono scelti di più.
  • T vicino a 0 si avvicina al greedy decoding: si prende sempre il token più probabile.

L’API di OpenAI accetta valori “between 0 and 2” (traduzione: tra 0 e 2), con 1 come predefinito. Il suo riferimento dice che 0,8 rende l’output “more random” (più casuale) e 0,2 “more focused and deterministic” (più mirato e deterministico). Consiglia anche di “altering this or top_p but not both” (traduzione: modificare questo o top_p, non entrambi), perché top-p è un secondo modo per ridurre la casualità.

I modelli open spesso arrivano con i propri valori predefiniti. Hugging Face Transformers legge la temperatura dal generation_config.json del modello e, se manca, ripiega su 1.0. Uno stack di serving può usare l’uno o l’altro valore.

Perché è importante

  • Ripetibilità. Estrazione, routing e output strutturato hanno bisogno di risposte stabili. Una temperatura più bassa riduce la variazione tra un’esecuzione e l’altra.
  • Qualità. Se è troppo alta, il modello scivola verso scelte lessicali strane o dettagli inventati, che alimentano le allucinazioni. Se è troppo bassa, i testi lunghi possono andare in loop: Hugging Face nota che il greedy decoding “begins to repeat itself” (traduzione: comincia a ripetersi) sulle sequenze più lunghe.
  • Valutazione. Quando confronti modelli, fissa la temperatura. Altrimenti stai misurando il rumore del campionamento. Osservare i logprobs mostra quanto margine aveva il modello.

La temperatura non cambia né prezzo né velocità. Un token costa uguale con qualsiasi impostazione.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta temperature, né il suo intervallo ammesso né il valore predefinito, per nessun modello. Gli esempi di richiesta non la impostano. Dato che l’API è compatibile con OpenAI, gli SDK invieranno il campo, ma non è indicato se ogni modello lo rispetti. Impostala esplicitamente e lancia lo stesso prompt più volte per vedere quanto variano le risposte. La guida all’SDK Python di OpenAI mostra come configurare il client.

Errori comuni

  • Usare temperatura 0 e dare per scontato un output identico per sempre. Salva le risposte che devi poter riprodurre.
  • Alzare la temperatura per correggere una risposta sbagliata. L’accuratezza si migliora con un prompt migliore o più contesto; la temperatura cambia solo la varietà.

Domande frequenti

Che temperatura devo usare?

Valori bassi, da 0 a 0,3, per estrazione, classificazione e codice, dove vuoi la stessa risposta ogni volta. Valori più alti, da 0,7 a 1, per brainstorming e formulazioni varie. Provali entrambi sui tuoi prompt.

Con temperatura 0 l’output è deterministico?

Non è garantito. Spinge il modello verso il token più probabile ogni volta, ma in genere i provider non promettono output identici tra un’esecuzione e l’altra. Salva ogni risposta che devi poter riprodurre.

Qual è la temperatura predefinita di BroadNet?

La documentazione di BroadNet non indica una temperatura predefinita per nessun modello. Impostala esplicitamente in ogni richiesta se il tuo output ne dipende.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity