Trích xuất thực thể có tên biến một đoạn văn thành các bản ghi mà code của bạn dùng được: ai, tổ chức nào, ở đâu và khi nào. Tiếng Ả Rập thêm bốn vấn đề mà pipeline tiếng Anh hiếm khi gặp: dấu nguyên âm tùy chọn, nhiều cách viết cho cùng một chữ cái, tên viết bằng chữ Latin (Arabizi), và ngày tháng theo hai loại lịch. Bài này dựng một bước trích xuất trên LLM tương thích OpenAI, xử lý từng vấn đề bằng code, cùng một script chấm điểm để biết nó có chạy tốt trên văn bản của bạn không.
Để phân loại cả tin nhắn thay vì rút span ra khỏi chúng, xem phân loại văn bản tiếng Ả Rập. Về các tùy chọn request JSON, xem JSON mode và json_schema.
LLM làm NER tiếng Ả Rập tốt đến đâu?
Phép đo công khai sát nhất mà chúng tôi tìm thấy là LAraBench (Abdelali và cộng sự, EACL 2024), chạy GPT-3.5 và GPT-4 trên các bộ NER tiếng Ả Rập theo kiểu gán nhãn từng token. Macro-F1, càng cao càng tốt:
| Dataset | GPT-3.5 zero-shot | GPT-4 zero-shot | GPT-4 3-shot | Hệ thống fine-tune được trích dẫn |
|---|---|---|---|---|
| ANERcorp (tin tức) | 0,210 | 0,355 | 0,420 | 0,886 |
| AQMAR (Wikipedia) | 0,230 | 0,365 | 0,390 | 0,690 |
| QASR (bản chép lời) | 0,208 | 0,504 | n/a | 0,698 |
Thêm ví dụ có giúp ích: GPT-4 trên ANERcorp tăng từ 0,355 khi không có ví dụ lên 0,451 với mười ví dụ. Các tác giả cũng phải ánh xạ lại những nhãn mà model viết theo định dạng riêng, như PER-B thay cho B-PER.
Hãy đọc kết quả này thận trọng. Đây là các model năm 2023 làm một nhiệm vụ gán nhãn khắt khe trên bộ nhãn benchmark. Một model hiện nay được yêu cầu liệt kê ngắn gọn người và công ty trong một ticket hỗ trợ có thể làm tốt hơn nhiều, hoặc không. Bảng cho bạn biết hai điều vẫn đúng: LLM không tự động là một hệ thống NER tốt, và bạn cần tự đo.
Có những dataset NER tiếng Ả Rập nào?
| Dataset | Văn bản | Kích thước và nhãn |
|---|---|---|
| ANERcorp | Tin tức | Khoảng 150.000 token; người, địa điểm, tổ chức, khác. CAMeL Lab công bố phần chia train/test chuẩn |
| CLEANANERCorp | ANERcorp đã sửa | Sửa lỗi chú thích, nhãn bị thiếu và chỗ không nhất quán trong bản gốc |
| AQMAR | Wikipedia tiếng Ả Rập | 74.000 token từ 28 bài |
| Wojood | MSA và phương ngữ | Khoảng 550.000 token, 21 loại thực thể, lồng nhau; dùng trong shared task WojoodNER 2023 |
| CANERCorpus | Hadith tiếng Ả Rập cổ điển | Hơn 7.000 hadith, 20 loại về chủ đề Hồi giáo |
Hãy dùng chúng để kiểm tra sơ bộ prompt, không phải làm bài test nghiệm thu. Các loại thực thể của bạn (khách hàng, sản phẩm, chi nhánh, số hợp đồng) sẽ khác của họ, và giấy phép cũng khác nhau. Kiểm tra từng bộ trước khi dùng cho mục đích thương mại.
Prompt nên yêu cầu gì?
Ba quy tắc giúp đầu ra kiểm tra được:
- Chép span chính xác. Không dịch, không phiên âm, không “bổ sung” tên riêng thành họ tên đầy đủ. Nếu cần cách viết tiếng Anh, hãy yêu cầu trong một trường riêng và coi nó là chưa kiểm chứng.
- Danh sách loại đóng. PERSON, ORG, LOCATION, DATE, hoặc bộ của riêng bạn. Loại tự do thì không chấm điểm được.
- Ngày tháng theo thành phần, không quy đổi. Yêu cầu năm, tháng và ngày như đã viết, cộng loại lịch. هـ ở cuối đánh dấu ngày Hijri; م đánh dấu dương lịch.
Viết chỉ dẫn bằng tiếng Anh hoặc tiếng Ả Rập; prompt engineering cho tiếng Ả Rập nói về sự đánh đổi. Đặt cấu trúc JSON trong system prompt và giữ nó giống hệt giữa các request để có thể được cache.
Đối chiếu thực thể với văn bản gốc thế nào?
Model có thể trả về một cái tên mà văn bản chưa từng nhắc, hoặc chép đúng tên nhưng thiếu dấu nguyên âm. Phép kiểm tra chuỗi con đơn giản không phân biệt được hai trường hợp đó. Hãy chuẩn hóa cả hai bên trước: bỏ tashkeel và tatweel, thống nhất các dạng alef, và nối عبد ال để عبد الله khớp với عبدالله. Quy tắc giống trong chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm, chỉ áp dụng cho việc so khớp. Giữ span gốc để hiển thị.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Chúng tôi chạy đoạn này với một mock server cục bộ (không gọi API thật) có câu trả lời soạn sẵn thêm một người bịa ra và một ngày không thể có (tháng 13). Đầu ra giữ lại خالد بن سعيد (câu trả lời bỏ mất dấu nguyên âm; phép so khớp đã chuẩn hóa vẫn tìm thấy), شركة النخيل للتقنية và جدة. Nó quy đổi ١٥ جمادى الآخرة ١٤٤٥هـ thành 2023-12-28, và liệt kê hai vấn đề: cái tên bịa ra là “not in source” (không có trong văn bản gốc), và tháng 13 gây lỗi “month must be in 1-12” (tháng phải từ 1 đến 12). Các tên người và công ty là hư cấu.
Ghi chú về code:
max_tokens=2000chừa chỗ cho suy luận. Tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận đó được tính vàomax_tokens. Xem phản hồi rỗng từ model suy luận.json.loadscó thể lỗi. Hãy bọc nó lại, và khi lỗi thì gửi lại một lần kèm thông báo lỗi, như trong vòng lặp sửa lỗi. Trên GLM 5.3 và Qwen3.8 27B, được BroadNet ghi nhận có structured output, hãy thêm cả schemaresponse_format. Bước kiểm tra vẫn giữ nguyên dù thế nào.- So khớp chuỗi con được cố ý làm lỏng. Nó xác nhận span tồn tại; nó không xác nhận loại. Loại là thứ bước chấm điểm bên dưới đo.
Xử lý ngày Hijri thế nào?
Văn bản tiếng Ả Rập viết ngày theo nhiều cách: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, hoặc ngày dương lịch với tên tháng khác nhau theo vùng (نوفمبر ở Ai Cập và vùng Vịnh, تشرين الثاني ở Levant). Model thường tách được chúng thành thành phần, và code kiểm tra các thành phần đó. Quy đổi giữa các loại lịch là phép tính trên một bảng đã công bố, và model không có lý do gì để làm đúng.
hijridate, trước đây là hijri-converter, quy đổi theo lịch Umm al-Qura. Phạm vi được ghi trong tài liệu là 1343 đến 1500 AH (1 tháng 8 năm 1924 đến 16 tháng 11 năm 2077 CN). Ngoài phạm vi nó báo OverflowError; tháng hoặc ngày không hợp lệ báo ValueError, đó là lý do code bắt cả hai. Tài liệu của nó nói thư viện không dành cho mục đích tôn giáo khi việc quan sát trăng lưỡi liềm được ưu tiên, nên một ngày xác định bằng quan sát có thể khác giá trị quy đổi. Hãy lưu ngày như đã viết bên cạnh ngày đã quy đổi.
Chữ số Ả Rập phương Đông không cần xử lý đặc biệt ở đây: model trả về số nguyên. Nếu tự phân tích ngày, hãy chuyển ٠١٢٣٤٥٦٧٨٩ (và chữ số Ba Tư ۰–۹) thành 0–9 trước.
Còn tên viết bằng Arabizi và văn bản trộn thì sao?
Tin nhắn của khách hàng thường viết tên bằng chữ Latin: “ana 7a2ool la Mo7ammad bokra” (nghĩa là: mai tôi sẽ nói với Mohammad). Quy tắc span chính xác vẫn hoạt động: văn bản thực thể là “Mo7ammad”, và phép kiểm tra chuỗi con vẫn qua. Thứ thất bại là việc khớp bản ghi đó với محمد trong CRM của bạn. Hãy làm việc đó ở bước thứ hai: chuyển span sang chữ Ả Rập, như trong xử lý Arabizi, rồi so khớp với bản ghi của bạn bằng cùng cách chuẩn hóa. Gắn cờ độ tin cậy cho mọi bản ghi đi qua một bước chuyển đổi.
Điều tương tự áp dụng cho tên công ty tiếng Anh trong câu tiếng Ả Rập, và cho cách viết Latin của tên Ả Rập (Mohammed, Muhammad, Mohamed). Đừng bắt bước trích xuất chọn một cách viết.
Chấm điểm bộ trích xuất thế nào?
Gán nhãn tay 100 đến 200 mẫu thật, với cùng danh sách loại. Sau đó so sánh dự đoán bằng khớp chính xác theo thực thể trên văn bản đã chuẩn hóa và loại, và báo cáo precision, recall và F1 theo từng loại:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
Trên một bộ đồ chơi hai câu (ba thực thể chuẩn; dự đoán gán جدة là ORG thay vì LOCATION và thêm một địa điểm thừa), nó in ra micro precision 0,5, recall 0,667 và F1 0,571, và F1 của LOCATION bằng 0. Góc nhìn theo loại cho bạn biết nên dồn công sức vào đâu: điểm ORG thấp thường có nghĩa là định nghĩa loại của bạn cần ví dụ, không phải cần model lớn hơn.
Hãy quyết định trước thế nào là khớp. Khớp chính xác rất khắt khe: “شركة النخيل” so với bản chuẩn “شركة النخيل للتقنية” bị tính là một false positive và một false negative. Nếu span một phần chấp nhận được với mục đích của bạn, hãy báo cáo thêm một điểm dựa trên độ chồng lấn, nhưng giữ điểm khắt khe làm con số chính.
Nên dùng model BroadNet nào?
Mọi giá đều tính trên 1 triệu token, lấy từ trang bảng giá của BroadNet.
| Model | Lý do | Đầu vào / đầu ra |
|---|---|---|
| Qwen3.8 27B | Có ghi nhận structured output; BroadNet cho biết đã test bằng tiếng Ả Rập, gồm cả hiểu phương ngữ vùng Vịnh và Ai Cập; đọc được ảnh | $0.175 / $2.17 |
| GLM 5.3 | Có ghi nhận structured output; context 1.048.576 token cho tài liệu rất dài | $0.78 / $3.46 |
| Gemma 4 VL 26B | Chạy bằng tín dụng ban đầu $5; không có ghi nhận structured output, nên hãy kiểm tra JSON chỉ dựa vào prompt; context 32.768 token | $0.10 / $0.22 |
Chạy script chấm điểm trên mẫu của bạn với từng ứng viên và chọn theo F1 từng loại và chi phí, không theo mô tả của nhà cung cấp. Tiếng Ả Rập thường tốn nhiều token hơn tiếng Anh cho cùng nội dung; số token mỗi từ trong tiếng Ả Rập có các tỷ lệ đã đo. Với thực thể trong biểu mẫu scan hay ảnh chụp, hãy trích xuất trực tiếp từ ảnh, như trong đọc hóa đơn tiếng Ả Rập bằng vision.
BroadNet Inference phù hợp ở đâu
BroadRouter là trang web của chính BroadNet. BroadNet Inference cho bạn truy cập tương thích OpenAI vào các model trên bằng một key, nên code chạy với OpenAI Python SDK sau khi đổi base URL. Tài liệu của họ cho biết prompt và câu trả lời không được lưu giữ sau request, điều quan trọng khi văn bản đầy tên người. Họ không có endpoint NER riêng và không công bố benchmark NER tiếng Ả Rập nào của mình, nên hãy đo trên dữ liệu của bạn. Nếu cần một bộ gán nhãn tự host cho khối lượng lớn, một model fine-tune trên Wojood hoặc nhãn của riêng bạn có thể rẻ hơn và nhất quán hơn mọi LLM; khoảng cách đã công bố ở trên chính là lý do nên kiểm tra.
