BroadRouter
Inizia

Eval (valutazione degli LLM)

Aggiornato

Una eval (abbreviazione di evaluation, valutazione) è un test ripetibile di un modello linguistico o di un prompt: un insieme fisso di input, una descrizione di come deve essere un buon output e un valutatore (codice, una persona o un altro modello) che assegna un punteggio a ogni output, così da poter confrontare le versioni.

Detto anche: eval, evals, valutazione degli LLM, valutazione dei modelli, test degli LLM, set di valutazione, LLM evaluation, model evaluation, LLM testing, eval set

Una eval è uno unit test per un prompt e un modello: sempre gli stessi input, una soglia chiara per passare e un punteggio confrontabile.

Come funziona

Una eval ha tre parti:

  1. Casi. Input presi dall’uso reale, con i casi limite. La guida di Anthropic cita esempi come input irrilevanti, input troppo lunghi e casi ambigui “where even humans would find it hard to reach an assessment consensus” (traduzione: in cui anche le persone farebbero fatica a mettersi d’accordo sulla valutazione).
  2. Criteri. Come deve essere una buona risposta: un valore esatto, un campo obbligatorio, un tono, un fatto che deve comparire.
  3. Valutatore. Qualcosa che assegna un punteggio a ogni output.
Valutatore Adatto per Punto debole
Codice (corrispondenza esatta, JSON Schema, regex) Classificazione, estrazione, output strutturato Non sa giudicare testo libero
Persona Sfumature, tono, compiti nuovi Lento e costoso
Modello (LLM-as-judge) Risposte aperte su larga scala Ha i propri bias

Anthropic consiglia di automatizzare dove possibile e scrive “Prioritize volume over quality” (traduzione: privilegia il volume rispetto alla qualità): più casi con una valutazione automatica un po’ più rumorosa battono pochi casi valutati a mano. Suggerisce anche di valutare con un modello diverso da quello che ha prodotto l’output.

Perché è importante

  • Cambiare modello o provider. I benchmark pubblici raramente corrispondono al tuo compito. Anche per i modelli di embedding, il benchmark MTEB ha rilevato che “no particular text embedding method dominates across all tasks” (traduzione: nessun metodo di embedding del testo domina su tutti i compiti). La tua eval è l’unico confronto affidabile. Vedi come valutare un LLM prima di cambiarlo.
  • Modifiche al prompt. Una correzione per un caso spesso ne rompe un altro. Rilancia l’intero set a ogni modifica del prompt.
  • Compromessi sui costi. Una eval mostra se un modello più economico basta per un certo passaggio, con numeri invece che impressioni.
  • Sicurezza. Aggiungi casi per allucinazioni, rifiuti e tentativi di injection, non solo per i percorsi in cui va tutto bene.

Su BroadNet Inference

La documentazione di BroadNet non elenca un prodotto per le eval. Esegui il tuo set di eval dal tuo codice contro l’endpoint compatibile con OpenAI, cambiando solo l’ID del modello per confrontare i modelli. I modelli di ragionamento contano il ragionamento in max_tokens, quindi lascia loro spazio, altrimenti un caso può fallire con una risposta vuota invece che sbagliata. L’articolo GLM 5.3 vs DeepSeek V4.1 Flash è un confronto svolto per esteso.

Domande frequenti

Che differenza c’è tra una eval e un benchmark?

Un benchmark è un set di test pubblico usato per confrontare i modelli in generale. Una eval di solito è un set tuo, costruito dai tuoi compiti reali, e ti dice come va un modello sul tuo prodotto.

Quanti casi di test servono per una eval?

Non c’è un numero fisso. Le indicazioni di Anthropic preferiscono più casi con valutazione automatica a pochi casi valutati a mano; parti da qualche decina presa dal traffico reale e amplia il set quando trovi errori.

Devo impostare la temperatura a 0 per le eval?

Usa le impostazioni che userai in produzione. Se gli output cambiano tra un’esecuzione e l’altra, valuta ogni caso più volte e confronta le medie invece dei singoli risultati.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity