I lanci dei modelli arrivano con tabelle di punteggi nei benchmark. Sapere cosa misura un benchmark, e cosa non può misurare, ti evita di scegliere un modello guardando il numero sbagliato.
Come funziona
Un benchmark fissa tre cose: i compiti, il modo in cui si fa il prompt al modello e la regola di punteggio. Due esempi noti:
| Benchmark | Cosa testa | Dimensione | Punteggio |
|---|---|---|---|
| MMLU (2020) | Conoscenze su “57 tasks including elementary mathematics, US history, computer science, law, and more” (57 compiti tra cui matematica elementare, storia degli Stati Uniti, informatica, diritto e altro) | 57 materie | Accuratezza |
| SWE-bench (2023) | Correggere issue reali di GitHub “editing the codebase to address the issue” (modificando il codice per risolvere la issue) | 2.294 problemi da 12 repository Python | Quota di issue risolte |
Anche il parlato ha i suoi: le classifiche ordinano i modelli di trascrizione per word error rate, dove più basso è meglio.
I benchmark invecchiano. Quando MMLU fu pubblicato, il modello GPT-3 più grande migliorava “over random chance by almost 20 percentage points on average” (traduzione: rispetto al caso di quasi 20 punti percentuali in media). Quando fu pubblicato SWE-bench, il modello migliore, Claude 2, risolveva l’1,96% delle issue. Un benchmark che un tempo distingueva bene i modelli può smettere di farlo man mano che i modelli migliorano, quindi controlla quando è stato creato e quali punteggi sono tipici oggi.
Perché è importante
- Contaminazione. La rassegna di Xu et al. descrive la contaminazione dei dati di benchmark come il caso di modelli che “inadvertently incorporate evaluation benchmark information from their training data” (traduzione: incorporano inavvertitamente informazioni dei benchmark di valutazione dai propri dati di addestramento), con il risultato di “inaccurate or unreliable performance during the evaluation phase” (traduzione: prestazioni inaccurate o inaffidabili in fase di valutazione).
- Copertura ristretta. Un benchmark di programmazione in Python dice poco sull’assistenza clienti in arabo. Scegli benchmark adatti al tuo compito (quale classifica misura cosa), poi conferma con una eval sui tuoi dati.
- Le impostazioni cambiano i punteggi. Formato del prompt, esempi few-shot, budget di ragionamento e configurazione di serving spostano tutti i risultati. Confronta i punteggi solo se sono stati ottenuti nello stesso modo.
- I giudici aggiungono i propri bias. I benchmark a risposta aperta usano spesso un LLM come giudice; controlla quale giudice e quale rubrica sono stati usati.
L’articolo valutare un LLM prima di cambiarlo mostra come costruire un piccolo set di test dal tuo traffico.
Su BroadNet Inference
BroadNet pubblica alcuni numeri di benchmark propri; considerali dichiarati da BroadNet. Per BroadNet Transcribe Arabic (basato su Cohere Transcribe), BroadNet riporta un word error rate di 21,1 sul parlato dialettale di MASC e di 3,8 su FLEURS Arabic, e indica una posizione #2 su 37 (dato di settembre 2026; la classifica in tempo reale lo indicava #4 su 39 il 15 novembre 2026) nella Open Universal Arabic ASR Leaderboard. Per Gemma 4 VL 26B, BroadNet riporta una valutazione alla cieca con tre giudici su 240 conversazioni di produzione, in cui il modello ha eguagliato Claude Sonnet in 5 dei 6 passaggi della pipeline del chatbot di BroadNet. È la pipeline di una sola azienda, non un benchmark generale. Esegui la tua eval prima di impegnarti; il credito iniziale di $5 copre Gemma 4 VL 26B ed entrambi i modelli di trascrizione.