Ogni token che un modello scrive viene scelto da una distribuzione di probabilità. I logprobs rendono visibile quella distribuzione, un token alla volta.
Come funziona
A ogni passo il modello assegna un punteggio a ogni token del suo vocabolario e trasforma i punteggi in probabilità. L’API può riportare il logaritmo naturale della probabilità del token scelto. Si usano i logaritmi perché i numeri grezzi diventano piccolissimi; sommare logaritmi equivale a moltiplicare probabilità.
Nella Chat Completions API di OpenAI li richiedi con due campi:
logprobs: truerestituisce una log-probabilità per ogni token di output.top_logprobsè “an integer between 0 and 20” (un intero tra 0 e 20) che indica quante alternative probabili elencare in ogni posizione. Richiedelogprobs: true.
Ogni voce di choices[0].logprobs.content contiene il token, il suo logprob, i suoi bytes UTF-8 e una lista top_logprobs. Converti con exp(logprob):
| logprob | probabilità |
|---|---|
| 0 | 1,00 |
| -0,105 | circa 0,90 |
| -0,693 | circa 0,50 |
| -2,303 | circa 0,10 |
Perché è importante
Il cookbook di OpenAI elenca alcuni usi pratici:
- Confidenza nella classificazione. Chiedi un’etichetta di una sola parola e leggi il logprob di quel token. Manda a una persona i casi con bassa confidenza.
- Controlli sul retrieval. Chiedi se il contesto fornito risponde alla domanda e usa la probabilità di “sì” come punteggio. Il cookbook collega questo uso alla riduzione delle allucinazioni.
- Autocompletamento. Suggerisci la parola successiva solo quando il modello è sicuro.
- Perplessità. Fai la media dei logprobs di un’intera risposta, cambia segno al risultato ed eleva e a quel valore. Una perplessità più bassa significa che il modello ha trovato il testo più prevedibile.
I logprobs rendono visibile anche il campionamento. Alzare la temperatura o il top-p lascia passare token a probabilità più bassa, e i logprobs lo mostrano. Sono un complemento economico a un passaggio di LLM-as-judge, perché arrivano insieme alla risposta senza richieste in più.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta logprobs né top_logprobs per nessun modello. Non dare per scontato che un endpoint compatibile con OpenAI li restituisca. Invia una richiesta con logprobs: true, controlla se choices[0].logprobs è valorizzato e prevedi un ripiego, come un prompt da giudice, se non lo è. La guida all’SDK Python mostra come configurare il client per una prova.
Errori comuni
- Leggere un logprob alto come prova che un fatto è corretto. Significa solo che il modello si aspettava quel token.
- Confrontare logprobs tra modelli diversi. Tokenizer e calibrazione cambiano, quindi i numeri non sono sulla stessa scala.