Extraire chaque personne, entreprise et lieu d’un contrat ou d’une dépêche, avec un type pour chacun : c’est la NER, et c’est l’une des tâches les plus courantes confiées à un LLM.
Comment ça marche
Le benchmark classique est la tâche partagée CoNLL-2003. Elle utilisait des dépêches Reuters en anglais et des textes allemands de la Frankfurter Rundschau, quatre types (PER pour les personnes, ORG, LOC et MISC pour « names of miscellaneous entities that do not belong to the previous three groups » (traduction : « noms d’entités diverses n’appartenant à aucun des trois groupes précédents »)) et des étiquettes IOB : chaque mot est B- ou I- d’un type, ou O pour « outside ». Le score est un F1 sur les entités, et une entité ne compte que si elle correspond exactement à la référence.
Un exemple arabe au format IOB :
| Token | Étiquette |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(« Khalid Al-Otaibi a visité la ville de Riyad. »)
L’arabe a ses propres jeux de données. ANERcorp, créé par Yassine Benajiba et référence standard depuis 2008, est composé de dépêches ; le découpage convenu du CAMeL Lab compte 125 102 mots d’entraînement et 25 008 mots de test, sous CC BY-SA 4.0. Wojood (Jarrar et al., 2022) compte environ 550K tokens de texte en MSA et en dialecte, 21 types d’entités et environ 75K entités, dont 22,5 % imbriquées. Son modèle basé sur AraBERT a obtenu un micro-F1 de 0,884.
Avec un LLM, la formulation habituelle est différente : on demande une liste, pas une étiquette par token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Pourquoi c’est important
La NER alimente les filtres de recherche, les fiches CRM, le masquage des PII et les graphes de connaissances. Avec un LLM, les principaux risques sont :
- Entités inventées ou modifiées. Un modèle peut renvoyer un nom absent du texte, ou « corriger » son orthographe. Vérifiez que chaque entité figure dans la source, après normalisation du texte arabe des deux côtés. C’est une forme de contrôle des hallucinations.
- Dérive des étiquettes. Fixez la liste des types dans un schéma, pour que le modèle ne puisse pas inventer de nouveau type.
- Les benchmarks ne sont pas vos données. Les étiquettes publiques correspondent rarement aux vôtres. Annotez un échantillon à la main et mesurez précision, rappel et F1, comme pour toute eval.
Sur BroadNet Inference
BroadNet n’a pas d’endpoint NER ; vous la construisez sur POST /v1/chat/completions. La référence de l’API BroadNet documente la sortie structurée pour GLM 5.3 et Qwen3.8 27B, ce qui permet de tenir le modèle à une liste d’entités et à un ensemble fixe de types. Pour les documents qui arrivent sous forme d’images, Qwen3.8 27B accepte aussi les images en entrée.
BroadNet ne publie aucun benchmark NER pour ses modèles. L’article sur l’extraction d’entités nommées en arabe propose un prompt, des vérifications de segments qui ignorent les signes diacritiques, la gestion des dates hégiriennes et un script d’évaluation à lancer sur votre propre échantillon.