Tirar todas as pessoas, empresas e lugares de um contrato ou de uma notícia, com um tipo para cada um: isso é NER, e é um dos trabalhos mais comuns dados a um LLM.
Como funciona
O benchmark clássico é a shared task CoNLL-2003. Ela usou notícias da Reuters em inglês e textos em alemão do Frankfurter Rundschau, quatro tipos (PER para pessoas, ORG, LOC e MISC para “names of miscellaneous entities that do not belong to the previous three groups”, tradução: nomes de entidades diversas que não pertencem aos três grupos anteriores) e tags IOB: cada palavra é B- ou I- de um tipo, ou O para fora. A avaliação é o F1 sobre entidades, e uma entidade só conta se bater exatamente com a referência.
Um exemplo em árabe no formato IOB:
| Token | Tag |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“Khalid Al-Otaibi visitou a cidade de Riad.”)
O árabe tem datasets próprios. O ANERcorp, criado por Yassine Benajiba e referência padrão desde 2008, é texto de agências de notícias; a divisão acordada do CAMeL Lab tem 125.102 palavras de treino e 25.008 de teste, sob CC BY-SA 4.0. O Wojood (Jarrar et al., 2022) tem cerca de 550 mil tokens de texto em MSA e em dialeto, 21 tipos de entidade e cerca de 75 mil entidades, 22,5% delas aninhadas. O modelo dele baseado em AraBERT alcançou 0,884 de micro F1.
Com um LLM, o enquadramento comum é outro: pedir uma lista, e não uma tag por token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Por que importa
A NER alimenta filtros de busca, registros de CRM, a anonimização de PII e grafos de conhecimento. Com um LLM, os principais riscos são:
- Entidades inventadas ou editadas. Um modelo pode devolver um nome que não está no texto, ou “corrigir” a grafia dele. Confira se cada entidade aparece no texto original, depois de aplicar a normalização de texto em árabe dos dois lados. É uma forma de checagem de alucinação.
- Deriva de rótulos. Fixe a lista de tipos em um schema, para que o modelo não invente um tipo novo.
- Benchmarks não são os seus dados. Rótulos públicos raramente batem com os seus. Rotule uma amostra à mão e meça precisão, recall e F1, como em qualquer eval.
Na BroadNet Inference
A BroadNet não tem endpoint de NER; você constrói em cima de POST /v1/chat/completions. A referência da API da BroadNet documenta saída estruturada para o GLM 5.3 e o Qwen3.8 27B, que é como você prende o modelo a uma lista de entidades e a um conjunto fixo de tipos. Para documentos que chegam como imagens, o Qwen3.8 27B também aceita entrada de imagem.
A BroadNet não publica benchmark de NER para os modelos dela. O post sobre extração de entidades nomeadas em árabe traz um prompt, checagens de trechos que ignoram diacríticos, o tratamento de datas do calendário hijri e um script de avaliação para rodar na sua própria amostra.