Un’allucinazione si legge esattamente come una risposta corretta. È proprio questo che la rende costosa.
Come funziona
Un modello linguistico scrive i token successivi più plausibili in base al suo addestramento e al prompt. In questo ciclo niente confronta un fatto con il mondo reale. Quando il modello non ha la risposta, una risposta dall’aria plausibile è comunque disponibile.
Kalai e colleghi, in un articolo del 2025, sostengono che le allucinazioni persistono perché “training and evaluation procedures reward guessing over acknowledging uncertainty” (traduzione: le procedure di addestramento e di valutazione premiano il tirare a indovinare più che l’ammissione di incertezza). La maggior parte dei benchmark dà punti a un tentativo giusto e zero all’astensione, quindi i modelli vengono ottimizzati per essere bravi a superare i test. Gli autori riconducono anche gli errori a un’origine statistica: se un modello non riesce a distinguere in modo affidabile le affermazioni vere da quelle false, il pretraining ne produrrà di false.
Forme comuni nel lavoro con le API:
- citazioni, URL o frasi riportate inventate
- cifre sbagliate nel riassunto di un documento corretto
- metodi o parametri di API che non esistono
- risposte a domande che il contesto fornito non copre
Perché è importante
Il costo arriva a valle: un bot di assistenza che si inventa una politica di rimborso, un report con un totale sbagliato, codice che chiama una funzione inesistente. Rispetto a questo, i rimedi costano poco:
- Ancora la risposta alle fonti. Metti il testo di riferimento nel prompt o recuperalo con la RAG. Lewis e colleghi hanno trovato la retrieval-augmented generation più “factual” (fattuale) di una baseline solo parametrica. Vedi grounding.
- Consenti il “non lo so”. Anthropic indica come passo di base il permesso esplicito di ammettere l’incertezza.
- Chiedi citazioni, poi verificale. Fai indicare al modello una citazione a supporto di ogni affermazione e scarta quelle che non ne hanno.
- Misura. Costruisci un eval con domande che non hanno risposta nel contesto e controlla quanto spesso il modello se ne inventa una. I logprobs possono segnalare le risposte a bassa confidenza, dove l’API li restituisce.
- Controlla nel codice. Totali, date e ID si possono verificare senza un modello.
Abbassare la temperatura aiuta contro la deriva nei testi lunghi, non contro gli errori detti con sicurezza.
Su BroadNet Inference
La documentazione di BroadNet non pubblica tassi di allucinazione per i suoi modelli e non elenca funzioni di guardrail o di fact-checking, quindi questi controlli stanno nella tua applicazione. Un contesto ampio aiuta il grounding: DeepSeek V4.1 Flash e GLM 5.3 accettano 1.048.576 token per richiesta, abbastanza per includere i documenti sorgente completi. Per le pipeline di retrieval in arabo vedi la RAG in arabo; per verificare i campi estratti confrontandoli con l’immagine, vedi la guida alle fatture.