BroadRouter
Inizia

Logprobs (log-probabilità)

Aggiornato

I logprobs sono le log-probabilità che un modello linguistico ha assegnato ai token che ha generato. Un’API che li restituisce mostra, per ogni token di output, quanto il modello lo riteneva probabile e, facoltativamente, i token alternativi più probabili in quella posizione.

Detto anche: logprobs, log-probabilità, log probabilità dei token, probabilità dei token, log probabilities, token log probabilities, top_logprobs, token probabilities

Ogni token che un modello scrive viene scelto da una distribuzione di probabilità. I logprobs rendono visibile quella distribuzione, un token alla volta.

Come funziona

A ogni passo il modello assegna un punteggio a ogni token del suo vocabolario e trasforma i punteggi in probabilità. L’API può riportare il logaritmo naturale della probabilità del token scelto. Si usano i logaritmi perché i numeri grezzi diventano piccolissimi; sommare logaritmi equivale a moltiplicare probabilità.

Nella Chat Completions API di OpenAI li richiedi con due campi:

  • logprobs: true restituisce una log-probabilità per ogni token di output.
  • top_logprobs è “an integer between 0 and 20” (un intero tra 0 e 20) che indica quante alternative probabili elencare in ogni posizione. Richiede logprobs: true.

Ogni voce di choices[0].logprobs.content contiene il token, il suo logprob, i suoi bytes UTF-8 e una lista top_logprobs. Converti con exp(logprob):

logprob probabilità
0 1,00
-0,105 circa 0,90
-0,693 circa 0,50
-2,303 circa 0,10

Perché è importante

Il cookbook di OpenAI elenca alcuni usi pratici:

  • Confidenza nella classificazione. Chiedi un’etichetta di una sola parola e leggi il logprob di quel token. Manda a una persona i casi con bassa confidenza.
  • Controlli sul retrieval. Chiedi se il contesto fornito risponde alla domanda e usa la probabilità di “sì” come punteggio. Il cookbook collega questo uso alla riduzione delle allucinazioni.
  • Autocompletamento. Suggerisci la parola successiva solo quando il modello è sicuro.
  • Perplessità. Fai la media dei logprobs di un’intera risposta, cambia segno al risultato ed eleva e a quel valore. Una perplessità più bassa significa che il modello ha trovato il testo più prevedibile.

I logprobs rendono visibile anche il campionamento. Alzare la temperatura o il top-p lascia passare token a probabilità più bassa, e i logprobs lo mostrano. Sono un complemento economico a un passaggio di LLM-as-judge, perché arrivano insieme alla risposta senza richieste in più.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta logprobs né top_logprobs per nessun modello. Non dare per scontato che un endpoint compatibile con OpenAI li restituisca. Invia una richiesta con logprobs: true, controlla se choices[0].logprobs è valorizzato e prevedi un ripiego, come un prompt da giudice, se non lo è. La guida all’SDK Python mostra come configurare il client per una prova.

Errori comuni

  • Leggere un logprob alto come prova che un fatto è corretto. Significa solo che il modello si aspettava quel token.
  • Confrontare logprobs tra modelli diversi. Tokenizer e calibrazione cambiano, quindi i numeri non sono sulla stessa scala.

Domande frequenti

Come trasformo un logprob in una percentuale?

Calcola e elevato al logprob. Un logprob di -0,105 corrisponde a circa 0,90, cioè il 90%. Un logprob di 0 significa che il modello ha dato a quel token probabilità 1.

I logprobs misurano se la risposta è vera?

No. Misurano quanto il modello era sicuro della formulazione, non se il fatto è corretto. Un modello può sbagliare con grande sicurezza.

BroadNet Inference restituisce i logprobs?

Il riferimento API di BroadNet non documenta i logprobs. Invia una richiesta di prova con logprobs impostato a true e controlla la risposta prima di costruirci sopra.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity