Lấy ra mọi người, công ty và địa điểm trong một hợp đồng hay bản tin, kèm loại của từng cái. Đó là NER, một trong những việc phổ biến nhất được giao cho LLM.
Cách hoạt động
Benchmark cổ điển là shared task CoNLL-2003. Nó dùng tin tức tiếng Anh của Reuters và văn bản tiếng Đức của Frankfurter Rundschau, bốn loại (PER cho người, ORG, LOC và MISC cho “names of miscellaneous entities that do not belong to the previous three groups” (Bản dịch: tên các thực thể khác không thuộc ba nhóm trên)), và nhãn IOB: mỗi từ là B- hoặc I- của một loại, hoặc O nếu nằm ngoài (outside). Điểm là F1 trên thực thể, và một thực thể chỉ được tính khi khớp chính xác với đáp án.
Một ví dụ tiếng Ả Rập ở dạng IOB:
| Token | Nhãn |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“Khalid Al-Otaibi đã đến thăm thành phố Riyadh.”)
Tiếng Ả Rập có bộ dữ liệu riêng. ANERcorp, do Yassine Benajiba tạo ra và là chuẩn tham chiếu từ năm 2008, gồm văn bản tin tức; bộ chia được thống nhất của CAMeL Lab có 125.102 từ huấn luyện và 25.008 từ kiểm thử theo giấy phép CC BY-SA 4.0. Wojood (Jarrar và cộng sự, 2022) có khoảng 550 nghìn token văn bản MSA và phương ngữ, 21 loại thực thể và khoảng 75 nghìn thực thể, trong đó 22,5% là thực thể lồng nhau. Model dựa trên AraBERT của nó đạt micro F1 0,884.
Với LLM, cách đặt vấn đề phổ biến lại khác: yêu cầu một danh sách, không phải nhãn cho từng token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Vì sao quan trọng
NER là đầu vào cho bộ lọc tìm kiếm, bản ghi CRM, việc che PII và knowledge graph. Khi dùng LLM, các rủi ro chính là:
- Thực thể bịa ra hoặc bị sửa. Model có thể trả về một cái tên không có trong văn bản, hoặc “sửa” chính tả của nó. Hãy kiểm tra mọi thực thể đều xuất hiện trong văn bản gốc, sau khi chuẩn hóa văn bản tiếng Ả Rập ở cả hai phía. Đây là một dạng kiểm tra ảo giác.
- Nhãn bị trôi. Cố định danh sách loại trong một schema để model không thể tự tạo loại mới.
- Benchmark không phải dữ liệu của bạn. Nhãn công khai hiếm khi khớp với nhãn của bạn. Hãy tự gán nhãn một mẫu và chấm precision, recall và F1, như với bất kỳ eval nào.
Trên BroadNet Inference
BroadNet không có endpoint NER; bạn xây nó trên POST /v1/chat/completions. Tài liệu tham chiếu API của BroadNet mô tả đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B, đó là cách bạn buộc model tuân theo một danh sách thực thể và một tập loại cố định. Với tài liệu đến dưới dạng ảnh, Qwen3.8 27B cũng nhận đầu vào hình ảnh.
BroadNet không công bố benchmark NER nào cho các model của mình. Bài viết về trích xuất thực thể có tên tiếng Ả Rập có prompt, cách kiểm tra span bỏ qua dấu phụ, cách xử lý ngày theo lịch Hijri và một script chấm điểm để chạy trên mẫu của chính bạn.