BroadRouter

Extraction d’entités nommées en arabe par LLM : JSON, dates, contrôles

Par l’équipe BroadNet Inference · 7 min de lecture · Publié

Demandez au modèle de recopier chaque entité exactement comme elle est écrite, avec un type issu d’une liste fermée, en JSON. Vérifiez chaque entité dans le code : elle doit figurer dans la source une fois les diacritiques retirés et les formes de l’alef unifiées. Convertissez les dates hégiriennes avec une bibliothèque comme hijridate, pas avec le modèle. Évaluez un échantillon annoté à la main avec précision, rappel et F1 au niveau des entités.

L’extraction d’entités nommées transforme un paragraphe en enregistrements exploitables par votre code : qui, quelle organisation, où et quand. L’arabe ajoute quatre problèmes que les pipelines anglais rencontrent rarement : des diacritiques facultatifs, plusieurs graphies d’une même lettre, des noms écrits en lettres latines (arabizi) et des dates dans deux calendriers. Cet article construit une étape d’extraction sur un LLM compatible OpenAI qui traite chacun de ces points dans le code, ainsi qu’un script d’évaluation qui vous dira si elle fonctionne sur vos textes.

Pour classer des messages entiers plutôt qu’en extraire des segments, voyez la classification de texte arabe. Pour les options JSON de la requête elles-mêmes, voyez mode JSON ou json_schema.

Quelle est la performance des LLM en NER arabe ?

La mesure publique la plus pertinente que nous ayons trouvée est LAraBench (Abdelali et al., EACL 2024), qui a fait passer à GPT-3.5 et GPT-4 des jeux de NER arabe sous forme d’étiquetage token par token. Macro-F1, plus c’est haut, mieux c’est :

Jeu de données GPT-3.5 zero-shot GPT-4 zero-shot GPT-4 3-shot Système fine-tuné cité
ANERcorp (actualités) 0,210 0,355 0,420 0,886
AQMAR (Wikipédia) 0,230 0,365 0,390 0,690
QASR (transcriptions) 0,208 0,504 n. d. 0,698

Davantage d’exemples ont aidé : sur ANERcorp, GPT-4 est passé de 0,355 sans exemple à 0,451 avec dix. Les auteurs ont aussi dû remapper des étiquettes que le modèle écrivait dans son propre format, comme PER-B pour B-PER.

Lisez cela avec prudence. Il s’agit de modèles de 2023 sur une tâche d’étiquetage stricte, avec les jeux d’étiquettes des benchmarks. Un modèle actuel à qui l’on demande une courte liste de personnes et d’entreprises dans un ticket de support peut faire beaucoup mieux, ou pas. Le tableau dit deux choses qui restent vraies : un LLM n’est pas automatiquement un bon système de NER, et vous avez besoin de votre propre mesure.

Quels jeux de données de NER arabe existent ?

Jeu de données Texte Taille et étiquettes
ANERcorp Actualités Environ 150 000 tokens ; personne, lieu, organisation, divers. CAMeL Lab publie une partition standard entraînement/test
CLEANANERCorp ANERcorp corrigé Corrige les erreurs d’annotation, étiquettes manquantes et incohérences de l’original
AQMAR Wikipédia en arabe 74 000 tokens issus de 28 articles
Wojood MSA et dialecte Environ 550 000 tokens, 21 types d’entités, imbriqués ; utilisé dans la tâche partagée WojoodNER 2023
CANERCorpus Hadiths en arabe classique Plus de 7 000 hadiths, 20 types sur des thèmes islamiques

Servez-vous-en pour vérifier qu’un prompt tient la route, pas comme test d’acceptation. Vos types d’entités (client, produit, agence, numéro de contrat) différeront des leurs, et leurs licences aussi. Vérifiez chacune avant tout usage commercial.

Que doit demander le prompt ?

Trois règles rendent la sortie vérifiable :

  1. Recopier le segment exactement. Pas de traduction, pas de translittération, pas de prénom « complété » en nom complet. Si vous avez besoin d’une graphie anglaise, demandez-la dans un champ séparé et traitez-la comme non vérifiée.
  2. Une liste de types fermée. PERSON, ORG, LOCATION, DATE, ou votre propre jeu. Des types libres ne se notent pas.
  3. Les dates en composantes, pas converties. Demandez l’année, le mois et le jour tels qu’écrits, plus le calendrier. Un هـ final signale une date hégirienne ; م signale une date grégorienne.

Rédigez les consignes en anglais ou en arabe ; le prompt engineering en arabe discute du compromis. Placez la forme JSON dans le prompt système et gardez-la identique d’une requête à l’autre pour qu’elle puisse être mise en cache.

Comment vérifier les entités par rapport à la source ?

Le modèle peut renvoyer un nom que le texte ne mentionne jamais, ou recopier correctement un nom mais sans ses diacritiques. Un simple test de sous-chaîne ne distingue pas les deux. Normalisez d’abord les deux côtés : retirez tashkil et tatweel, unifiez les formes de l’alef, et soudez عبد ال pour que عبد الله corresponde à عبدالله. Les règles sont les mêmes que dans la normalisation du texte arabe pour la recherche, appliquées à la seule comparaison. Gardez le segment original pour l’affichage.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

Nous avons exécuté ce code contre un serveur fictif local (aucun appel à l’API réelle) dont la réponse préparée ajoutait une personne inventée et une date impossible (mois 13). La sortie a conservé خالد بن سعيد (la réponse avait perdu les diacritiques ; la comparaison normalisée l’a tout de même trouvé), شركة النخيل للتقنية et جدة. Elle a converti ١٥ جمادى الآخرة ١٤٤٥هـ en 2023-12-28 et listé deux problèmes : le nom inventé était « not in source », et le mois 13 a levé « month must be in 1-12 ». Les noms et l’entreprise sont fictifs.

Remarques sur le code :

  • max_tokens=2000 laisse de la place au raisonnement. Selon la documentation de BroadNet, DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et ce raisonnement compte dans max_tokens. Voyez les réponses vides des modèles de raisonnement.
  • json.loads peut échouer. Encadrez l’appel et, en cas d’échec, renvoyez une fois la requête avec l’erreur, comme dans la boucle de réparation. Sur GLM 5.3 et Qwen3.8 27B, pour lesquels BroadNet documente la sortie structurée, ajoutez aussi un schéma response_format. La validation reste dans tous les cas.
  • La correspondance par sous-chaîne est volontairement souple. Elle confirme que le segment existe, pas son type. Les types, c’est ce que mesure l’étape d’évaluation plus bas.

Comment traiter les dates hégiriennes ?

Le texte arabe écrit les dates de bien des façons : ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, ou une date grégorienne dont le nom des mois varie selon la région (نوفمبر en Égypte et dans le Golfe, تشرين الثاني au Levant). Un modèle sait en général les découper en composantes, et le code vérifie les composantes. Convertir d’un calendrier à l’autre relève de l’arithmétique sur une table publiée, et rien ne garantit qu’un modèle le fasse correctement.

hijridate, anciennement hijri-converter, convertit selon le calendrier Umm al-Qura. Sa plage documentée va de 1343 à 1500 de l’hégire (du 1er août 1924 au 16 novembre 2077 apr. J.-C.). Hors de cette plage, elle lève OverflowError ; un mois ou un jour invalide lève ValueError, d’où l’interception des deux dans le code. Sa documentation précise qu’elle n’est pas destinée aux usages religieux où l’observation du croissant est préférée : une date fixée par observation peut donc différer de la valeur convertie. Stockez la date telle qu’écrite à côté de la date convertie.

Les chiffres arabes orientaux ne demandent ici aucun traitement particulier : le modèle renvoie des entiers. Si vous analysez les dates vous-même, ramenez d’abord ٠١٢٣٤٥٦٧٨٩ (et les chiffres persans ۰–۹) à 0–9.

Et les noms en arabizi ou en texte mixte ?

Les messages clients écrivent souvent les noms en lettres latines : « ana 7a2ool la Mo7ammad bokra ». La règle du segment exact fonctionne toujours : le texte de l’entité est « Mo7ammad », et la vérification par sous-chaîne passe. Ce qui échoue, c’est de rapprocher cet enregistrement de محمد dans votre CRM. Faites-le dans une seconde étape : convertissez le segment en écriture arabe, comme dans le traitement de l’arabizi, puis comparez-le à vos enregistrements avec la même normalisation. Gardez un indicateur de confiance sur tout enregistrement passé par une conversion.

Il en va de même pour les noms d’entreprises anglais dans des phrases arabes, et pour les graphies latines de noms arabes (Mohammed, Muhammad, Mohamed). Ne demandez pas à l’étape d’extraction de choisir une graphie.

Comment évaluer l’extracteur ?

Annotez à la main 100 à 200 échantillons réels, avec la même liste de types. Comparez ensuite les prédictions par correspondance exacte au niveau des entités, sur le texte normalisé et le type, et indiquez précision, rappel et F1 par type :

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

Sur un jeu jouet de deux phrases (trois entités de référence ; la prédiction a typé جدة comme ORG au lieu de LOCATION et ajouté un lieu en trop), le script a affiché une précision micro de 0,5, un rappel de 0,667 et un F1 de 0,571, et un F1 de 0 pour LOCATION. La vue par type montre où concentrer vos efforts : un score ORG faible signifie en général que vos définitions de types ont besoin d’exemples, pas d’un modèle plus gros.

Décidez à l’avance de ce qui compte comme une correspondance. La correspondance exacte est stricte : « شركة النخيل » face à une référence « شركة النخيل للتقنية » compte comme un faux positif et un faux négatif. Si des segments partiels vous conviennent, indiquez un second score fondé sur le recouvrement, mais gardez le score strict comme chiffre principal.

Quel modèle BroadNet utiliser ?

Tous les prix sont par million de tokens, d’après la page de tarifs de BroadNet.

Modèle Pourquoi Entrée / sortie
Qwen3.8 27B Sortie structurée documentée ; testé en arabe selon BroadNet, y compris la compréhension des dialectes du Golfe et égyptien ; lit les images $0.175 / $2.17
GLM 5.3 Sortie structurée documentée ; contexte de 1 048 576 tokens pour les très longs documents $0.78 / $3.46
Gemma 4 VL 26B Fonctionne avec le crédit de départ de $5 ; aucune sortie structurée documentée, donc validez le JSON obtenu par le seul prompt ; contexte de 32 768 tokens $0.10 / $0.22

Lancez le script d’évaluation sur votre échantillon avec chaque candidat et choisissez sur le F1 par type et le coût, pas sur la description du fournisseur. L’arabe demande en général plus de tokens que l’anglais pour le même contenu ; tokens par mot en arabe donne des ratios mesurés. Pour des entités dans des formulaires scannés ou des photos, extrayez directement depuis l’image, comme dans lire des factures arabes avec la vision.

La place de BroadNet Inference

BroadRouter est le site de BroadNet. BroadNet Inference donne un accès compatible OpenAI aux modèles ci-dessus avec une seule clé : le code fonctionne avec le SDK Python d’OpenAI après changement de l’URL de base. Sa documentation indique que prompts et réponses ne sont pas conservés après la requête, ce qui compte quand le texte est rempli de noms de personnes. Il n’a pas d’endpoint dédié à la NER et ne publie aucun benchmark de NER arabe : mesurez sur vos données. Si vous avez besoin d’un étiqueteur auto-hébergé pour de gros volumes, un modèle fine-tuné sur Wojood ou sur vos propres étiquettes peut être moins cher et plus constant que n’importe quel LLM ; l’écart publié plus haut est la raison de le vérifier.

Questions fréquentes

Un LLM peut-il faire de la reconnaissance d’entités nommées en arabe ?

Oui, avec des contrôles. Les résultats zero-shot publiés en NER arabe au niveau des tokens restent loin derrière les modèles fine-tunés : validez chaque entité par rapport au texte source et évaluez le modèle sur un échantillon annoté de vos propres données avant de vous y fier.

Comment comparer des noms arabes avec et sans diacritiques ?

Normalisez les deux côtés avant de comparer : retirez le tashkil (U+064B à U+065F), l’alef suscrit et le tatweel, ramenez إ أ آ ٱ à ا et ى à ي, et réduisez les espaces. Gardez le texte original pour l’affichage ; la forme normalisée sert uniquement à la comparaison.

Comment convertir une date hégirienne en date grégorienne en Python ?

Utilisez hijridate (anciennement hijri-converter) : Hijri(1445, 6, 15).to_gregorian() renvoie 2023-12-28. La bibliothèque suit le calendrier Umm al-Qura, couvre 1343 à 1500 de l’hégire et n’est pas destinée aux dates religieuses fixées par observation de la lune.

Sur quels jeux de données de NER arabe puis-je tester ?

ANERcorp (actualités, environ 150 000 tokens, quatre types), AQMAR (74 000 tokens de Wikipédia), Wojood (environ 550 000 tokens de MSA et de dialecte, 21 types imbriqués) et CANERCorpus (hadiths en arabe classique, 20 types). Vérifiez chaque licence et faites correspondre leurs étiquettes aux vôtres.

Le modèle doit-il traduire ou translittérer les noms ?

Pas à l’étape d’extraction. Demandez le segment exact de la source, pour pouvoir le vérifier. Ajoutez si besoin un champ séparé pour une graphie latine, et traitez-le comme non vérifié.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity