Estrarre ogni persona, azienda e luogo da un contratto o da una notizia, con un tipo per ciascuno: questa è la NER, ed è uno dei lavori più comuni affidati a un LLM.
Come funziona
Il benchmark classico è lo shared task CoNLL-2003. Usava notizie Reuters in inglese e testi tedeschi della Frankfurter Rundschau, quattro tipi (PER per le persone, ORG, LOC e MISC per i “names of miscellaneous entities that do not belong to the previous three groups”, traduzione: nomi di entità varie che non appartengono ai tre gruppi precedenti) e tag IOB: ogni parola è B- o I- di un tipo, oppure O se è fuori. La valutazione è l’F1 sulle entità, e un’entità conta solo se coincide esattamente con il riferimento.
Un esempio in arabo in formato IOB:
| Token | Tag |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(«Khalid Al-Otaibi ha visitato la città di Riyad.»)
L’arabo ha i suoi dataset. ANERcorp, creato da Yassine Benajiba e riferimento standard dal 2008, è testo di agenzie di stampa; lo split concordato di CAMeL Lab ha 125.102 parole di addestramento e 25.008 di test, con licenza CC BY-SA 4.0. Wojood (Jarrar et al., 2022) ha circa 550.000 token di testo in MSA e in dialetto, 21 tipi di entità e circa 75.000 entità, il 22,5% delle quali annidate. Il suo modello basato su AraBERT ha ottenuto 0,884 di micro F1.
Con un LLM l’impostazione comune è diversa: si chiede una lista, non un tag per token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Perché è importante
La NER alimenta filtri di ricerca, record di CRM, l’oscuramento dei PII e i knowledge graph. Con un LLM i rischi principali sono:
- Entità inventate o modificate. Un modello può restituire un nome che non è nel testo, o “correggerne” l’ortografia. Verifica che ogni entità compaia nel testo originale, dopo la normalizzazione del testo arabo su entrambi i lati. È una forma di controllo delle allucinazioni.
- Deriva delle etichette. Fissa la lista dei tipi in uno schema, così il modello non può inventarne di nuovi.
- I benchmark non sono i tuoi dati. Le etichette pubbliche raramente coincidono con le tue. Etichetta a mano un campione e misura precision, recall e F1, come in qualsiasi eval.
Su BroadNet Inference
BroadNet non ha un endpoint NER; la costruisci su POST /v1/chat/completions. Il riferimento API di BroadNet documenta l’output strutturato per GLM 5.3 e Qwen3.8 27B, ed è così che vincoli il modello a una lista di entità e a un insieme fisso di tipi. Per i documenti che arrivano come immagini, Qwen3.8 27B accetta anche input di immagini.
BroadNet non pubblica benchmark NER per i suoi modelli. L’articolo sull’estrazione di entità nominate in arabo contiene un prompt, controlli sugli span che ignorano i segni diacritici, la gestione delle date dell’Egira e uno script di valutazione da eseguire sul tuo campione.