BroadRouter
Inizia

Top-p (nucleus sampling)

Aggiornato

Il top-p, detto anche nucleus sampling, è un metodo di decodifica in cui un modello linguistico sceglie il token successivo solo dal più piccolo insieme di token più probabili la cui probabilità complessiva raggiunge una soglia p, per esempio 0,9, scartando la coda improbabile.

Detto anche: top-p, campionamento top-p, campionamento del nucleo, parametro top_p, nucleus sampling, top_p, top-p sampling

Il top-p decide quali token possono entrare nell’estrazione prima che il modello ne scelga uno.

Come funziona

Holtzman e colleghi hanno introdotto il nucleus sampling nel 2019. Definiscono il vocabolario top-p come il più piccolo insieme di token la cui probabilità cumulativa è almeno p. Ogni token fuori da quell’insieme riceve probabilità zero. Gli altri vengono riscalati in modo che sommino a uno, e il token successivo viene campionato tra loro. I loro risultati principali usano p = 0,95.

L’insieme cambia dimensione a ogni passo:

Distribuzione del token successivo Token tenuti con p = 0,9
Un token a 0,95 1
Quattro token a 0,3; 0,3; 0,2; 0,15 4
Una distribuzione lunga e piatta molti

È proprio questo il senso del metodo. L’articolo sostiene che la “less reliable tail” (traduzione: coda meno affidabile) della distribuzione produce testo degenerato e che tagliarla dà output vario senza perdere coerenza. Un top-k fisso non può adattarsi così: tiene lo stesso numero di token sia quando il modello è certo sia quando è incerto.

Nell’API di OpenAI, top_p vale 1 per impostazione predefinita, cioè nessun taglio. Il riferimento fa l’esempio che “0.1 means only the tokens comprising the top 10% probability mass are considered” (traduzione: 0,1 significa che si considerano solo i token che formano il 10% superiore della massa di probabilità). Anche Hugging Face Transformers usa 1,0 come predefinito, a meno che il generation_config.json del modello non imposti un altro valore.

Perché è importante

  • Meno token strani. Tagliare la coda elimina le scelte rare che fanno deragliare il testo, il che conta per le risposte lunghe e per il rischio di allucinazioni.
  • Interazione con la temperatura. La temperatura si applica ai punteggi; poi il top-p rifila il risultato. Regolarli entrambi insieme rende il comportamento difficile da prevedere, ed è per questo che OpenAI suggerisce di cambiarne uno solo.
  • Debug. Se i logprobs mostrano che il modello ha scelto un token a bassa probabilità, un top-p più basso lo avrebbe bloccato.

Il top-p non cambia il prezzo. Ogni token generato viene fatturato allo stesso modo.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta top_p, top_k né i loro valori predefiniti. I suoi esempi di richiesta non impostano né l’uno né l’altro. Un SDK OpenAI passerà top_p, ma non è indicato se un dato modello lo applichi, quindi provalo sui tuoi prompt prima di farci affidamento. Vedi la guida all’SDK Python e l’articolo su come valutare un modello prima di cambiarlo, che spiega perché le impostazioni di campionamento vanno fissate durante un confronto.

Errori comuni

  • Regolare top_p e temperatura insieme, e poi non sapere quale dei due ha cambiato il risultato.
  • Copiare le impostazioni di campionamento da un modello all’altro. I valori consigliati cambiano da modello a modello.

Domande frequenti

Che differenza c’è tra top-p e temperatura?

La temperatura rimodella tutte le probabilità dei token. Il top-p taglia la coda improbabile e campiona da ciò che resta. OpenAI consiglia di modificare l’uno o l’altra, non entrambi.

Che differenza c’è tra top-p e top-k?

Il top-k tiene un numero fisso di token, per esempio 50. Il top-p tiene tutti i token che servono per raggiungere la soglia di probabilità, quindi l’insieme è piccolo quando il modello è sicuro e grande quando non lo è.

BroadNet documenta top_p?

No. Il riferimento API di BroadNet non elenca top_p né il suo valore predefinito per nessun modello. Impostalo nella richiesta e verifica tu stesso l’effetto.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity