Una eval è uno unit test per un prompt e un modello: sempre gli stessi input, una soglia chiara per passare e un punteggio confrontabile.
Come funziona
Una eval ha tre parti:
- Casi. Input presi dall’uso reale, con i casi limite. La guida di Anthropic cita esempi come input irrilevanti, input troppo lunghi e casi ambigui “where even humans would find it hard to reach an assessment consensus” (traduzione: in cui anche le persone farebbero fatica a mettersi d’accordo sulla valutazione).
- Criteri. Come deve essere una buona risposta: un valore esatto, un campo obbligatorio, un tono, un fatto che deve comparire.
- Valutatore. Qualcosa che assegna un punteggio a ogni output.
| Valutatore | Adatto per | Punto debole |
|---|---|---|
| Codice (corrispondenza esatta, JSON Schema, regex) | Classificazione, estrazione, output strutturato | Non sa giudicare testo libero |
| Persona | Sfumature, tono, compiti nuovi | Lento e costoso |
| Modello (LLM-as-judge) | Risposte aperte su larga scala | Ha i propri bias |
Anthropic consiglia di automatizzare dove possibile e scrive “Prioritize volume over quality” (traduzione: privilegia il volume rispetto alla qualità): più casi con una valutazione automatica un po’ più rumorosa battono pochi casi valutati a mano. Suggerisce anche di valutare con un modello diverso da quello che ha prodotto l’output.
Perché è importante
- Cambiare modello o provider. I benchmark pubblici raramente corrispondono al tuo compito. Anche per i modelli di embedding, il benchmark MTEB ha rilevato che “no particular text embedding method dominates across all tasks” (traduzione: nessun metodo di embedding del testo domina su tutti i compiti). La tua eval è l’unico confronto affidabile. Vedi come valutare un LLM prima di cambiarlo.
- Modifiche al prompt. Una correzione per un caso spesso ne rompe un altro. Rilancia l’intero set a ogni modifica del prompt.
- Compromessi sui costi. Una eval mostra se un modello più economico basta per un certo passaggio, con numeri invece che impressioni.
- Sicurezza. Aggiungi casi per allucinazioni, rifiuti e tentativi di injection, non solo per i percorsi in cui va tutto bene.
Su BroadNet Inference
La documentazione di BroadNet non elenca un prodotto per le eval. Esegui il tuo set di eval dal tuo codice contro l’endpoint compatibile con OpenAI, cambiando solo l’ID del modello per confrontare i modelli. I modelli di ragionamento contano il ragionamento in max_tokens, quindi lascia loro spazio, altrimenti un caso può fallire con una risposta vuota invece che sbagliata. L’articolo GLM 5.3 vs DeepSeek V4.1 Flash è un confronto svolto per esteso.