Keluarkan setiap orang, syarikat dan tempat daripada kontrak atau berita, dengan jenis bagi setiap satu. Itulah NER, dan ia antara kerja paling lazim yang diberikan kepada LLM.
Cara ia berfungsi
Penanda aras klasiknya ialah tugasan bersama CoNLL-2003. Ia menggunakan berita Reuters dalam bahasa Inggeris dan teks Frankfurter Rundschau dalam bahasa Jerman, empat jenis (PER untuk orang, ORG, LOC, dan MISC untuk “names of miscellaneous entities that do not belong to the previous three groups” (Terjemahan BroadRouter: “nama entiti pelbagai yang tidak tergolong dalam tiga kumpulan sebelumnya”)), dan tag IOB: setiap perkataan ialah B- atau I- bagi sesuatu jenis, atau O untuk luar. Pemarkahan ialah F1 ke atas entiti, dan entiti hanya dikira jika ia sepadan tepat dengan rujukan.
Contoh bahasa Arab dalam bentuk IOB:
| Token | Tag |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“Khalid Al-Otaibi melawat bandar Riyadh.”)
Bahasa Arab mempunyai set datanya sendiri. ANERcorp, yang dicipta oleh Yassine Benajiba dan menjadi rujukan standard sejak 2008, ialah teks berita agensi; pembahagian yang dipersetujui oleh CAMeL Lab mempunyai 125,102 perkataan latihan dan 25,008 perkataan ujian di bawah CC BY-SA 4.0. Wojood (Jarrar et al., 2022) mempunyai kira-kira 550K token teks MSA dan dialek, 21 jenis entiti dan kira-kira 75K entiti, 22.5% daripadanya bersarang. Model berasaskan AraBERT miliknya mencatat 0.884 micro F1.
Dengan LLM, pembingkaian yang lazim berbeza: minta senarai, bukan tag bagi setiap token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Mengapa ia penting
NER menyuap penapis carian, rekod CRM, penyuntingan PII dan graf pengetahuan. Dengan LLM, risiko utamanya ialah:
- Entiti yang direka atau diubah. Model boleh memulangkan nama yang tiada dalam teks, atau “membetulkan” ejaannya. Semak bahawa setiap entiti wujud dalam sumber, selepas penormalan teks Arab pada kedua-dua belah. Ini satu bentuk semakan halusinasi.
- Label yang berubah-ubah. Tetapkan senarai jenis dalam skema, supaya model tidak boleh mencipta jenis baharu.
- Penanda aras bukan data anda. Label awam jarang sepadan dengan label anda. Labelkan sampel secara manual dan skor precision, recall dan F1, seperti dalam mana-mana eval.
Di BroadNet Inference
BroadNet tiada endpoint NER; anda membinanya di atas POST /v1/chat/completions. Rujukan API BroadNet mendokumenkan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B, iaitu cara anda mengikat model kepada senarai entiti dan set jenis yang tetap. Untuk dokumen yang tiba sebagai imej, Qwen3.8 27B juga menerima input imej.
BroadNet tidak menerbitkan penanda aras NER untuk modelnya. Artikel tentang pengekstrakan entiti bernama bahasa Arab mempunyai prompt, semakan span yang mengabaikan baris, pengendalian tarikh Hijrah dan skrip pemarkahan untuk dijalankan pada sampel anda sendiri.