Pengekstrakan entiti bernama menukar satu perenggan kepada rekod yang boleh digunakan oleh kod anda: siapa, organisasi mana, di mana dan bila. Bahasa Arab menambah empat masalah yang jarang ditemui saluran bahasa Inggeris: diakritik pilihan, beberapa ejaan bagi huruf yang sama, nama yang ditulis dalam huruf Rumi (Arabizi), dan tarikh dalam dua kalendar. Artikel ini membina langkah pengekstrakan pada LLM yang serasi OpenAI yang mengendalikan setiap satu dalam kod, serta skrip pemarkahan untuk memberitahu sama ada ia berfungsi pada teks anda.
Untuk mengelaskan keseluruhan mesej dan bukan mengeluarkan rentang daripadanya, lihat pengelasan teks bahasa Arab. Untuk pilihan permintaan JSON itu sendiri, lihat mod JSON vs json_schema.
Sejauh manakah prestasi LLM dalam NER bahasa Arab?
Pengukuran awam paling relevan yang kami temui ialah LAraBench (Abdelali et al., EACL 2024), yang menjalankan GPT-3.5 dan GPT-4 pada set NER bahasa Arab sebagai penandaan token demi token. Macro-F1, lebih tinggi lebih baik:
| Set data | GPT-3.5 zero-shot | GPT-4 zero-shot | GPT-4 3-shot | Sistem ditala halus yang dipetik |
|---|---|---|---|---|
| ANERcorp (berita) | 0.210 | 0.355 | 0.420 | 0.886 |
| AQMAR (Wikipedia) | 0.230 | 0.365 | 0.390 | 0.690 |
| QASR (transkrip) | 0.208 | 0.504 | n/a | 0.698 |
Lebih banyak contoh membantu: GPT-4 pada ANERcorp naik daripada 0.355 tanpa contoh kepada 0.451 dengan sepuluh. Para pengarang juga terpaksa memetakan semula tag yang ditulis model dalam formatnya sendiri, seperti PER-B untuk B-PER.
Baca ini dengan berhati-hati. Ini model 2023 yang melakukan tugas penandaan ketat pada set label penanda aras. Model semasa yang diminta senarai pendek orang dan syarikat dalam tiket sokongan mungkin jauh lebih baik, atau tidak. Jadual ini memberitahu dua perkara yang masih benar: LLM tidak semestinya sistem NER yang baik, dan anda perlukan pengukuran sendiri.
Set data NER bahasa Arab apakah yang wujud?
| Set data | Teks | Saiz dan label |
|---|---|---|
| ANERcorp | Berita | Kira-kira 150,000 token; orang, lokasi, organisasi, pelbagai. CAMeL Lab menerbitkan pecahan train/test piawai |
| CLEANANERCorp | ANERcorp, dibetulkan | Membetulkan ralat anotasi, label yang hilang dan ketidakkonsistenan dalam versi asal |
| AQMAR | Wikipedia bahasa Arab | 74,000 token daripada 28 artikel |
| Wojood | MSA dan dialek | Kira-kira 550,000 token, 21 jenis entiti, bersarang; digunakan dalam tugas bersama WojoodNER 2023 |
| CANERCorpus | Hadis bahasa Arab Klasik | Lebih 7,000 hadis, 20 jenis bertopik Islam |
Gunakannya untuk semakan kewarasan prompt, bukan sebagai ujian penerimaan anda. Jenis entiti anda (pelanggan, produk, cawangan, nombor kontrak) berbeza daripada mereka, dan lesennya juga berbeza. Semak setiap satu sebelum penggunaan komersial.
Apakah yang patut diminta oleh prompt?
Tiga peraturan menjadikan output boleh disemak:
- Salin rentang dengan tepat. Tiada terjemahan, tiada transliterasi, tiada “melengkapkan” nama pertama menjadi nama penuh. Jika anda perlukan ejaan bahasa Inggeris, minta dalam medan berasingan dan anggap ia belum disahkan.
- Senarai jenis tertutup. PERSON, ORG, LOCATION, DATE, atau set anda sendiri. Jenis bebas tidak boleh diskor.
- Tarikh sebagai bahagian, bukan penukaran. Minta tahun, bulan dan hari seperti yang ditulis, berserta kalendar. هـ di hujung menandakan tarikh Hijrah; م menandakan Masihi.
Tulis arahan dalam bahasa Inggeris atau Arab; kejuruteraan prompt bahasa Arab membincangkan pertukarannya. Letakkan bentuk JSON dalam prompt sistem dan kekalkannya sama merentas permintaan supaya ia boleh di-cache.
Bagaimanakah menyemak entiti dengan sumber?
Model mungkin memulangkan nama yang tidak pernah disebut dalam teks, atau menyalin nama dengan betul tetapi tanpa diakritiknya. Ujian subrentetan biasa tidak dapat membezakan kedua-duanya. Normalkan kedua-dua pihak dahulu: buang tashkeel dan tatweel, seragamkan bentuk alef, dan cantumkan عبد ال supaya عبد الله sepadan dengan عبدالله. Peraturannya sama seperti dalam normalisasi teks bahasa Arab untuk carian, digunakan untuk padanan sahaja. Simpan rentang asal untuk paparan.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Kami menjalankannya pada pelayan olok-olok tempatan (tiada panggilan API langsung) yang jawapan sediaannya menambah seorang individu rekaan dan satu tarikh mustahil (bulan 13). Output mengekalkan خالد بن سعيد (jawapan itu membuang diakritik; padanan ternormal masih menemuinya), شركة النخيل للتقنية dan جدة. Ia menukar ١٥ جمادى الآخرة ١٤٤٥هـ kepada 2023-12-28, dan menyenaraikan dua masalah: nama rekaan itu “not in source”, dan bulan 13 menimbulkan “month must be in 1-12”. Nama dan syarikat itu rekaan.
Nota tentang kod:
max_tokens=2000memberi ruang untuk penaakulan. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalammax_tokens. Lihat respons kosong daripada model penaakulan.json.loadsboleh gagal. Balutnya, dan apabila gagal, hantar semula sekali dengan ralatnya, seperti dalam gelung pembaikan. Pada GLM 5.3 dan Qwen3.8 27B, yang didokumenkan BroadNet dengan output berstruktur, tambah juga skemaresponse_format. Pengesahan tetap diperlukan dalam kedua-dua keadaan.- Padanan subrentetan sengaja longgar. Ia mengesahkan rentang itu wujud; ia tidak mengesahkan jenisnya. Jenis ialah apa yang diukur oleh langkah pemarkahan di bawah.
Bagaimanakah mengendalikan tarikh Hijrah?
Teks Arab menulis tarikh dalam banyak cara: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, atau tarikh Masihi dengan nama bulan yang berbeza mengikut wilayah (نوفمبر di Mesir dan Teluk, تشرين الثاني di Levant). Model biasanya boleh memecahkannya kepada bahagian, dan kod menyemak bahagian itu. Menukar antara kalendar ialah aritmetik pada jadual yang diterbitkan, dan model tiada sebab untuk mendapatkannya dengan betul.
hijridate, dahulunya hijri-converter, menukar menggunakan kalendar Umm al-Qura. Julat yang didokumenkannya ialah 1343 hingga 1500 H (1 Ogos 1924 hingga 16 November 2077 M). Di luar julat ia menimbulkan OverflowError; bulan atau hari yang tidak sah menimbulkan ValueError, sebab itu kod menangkap kedua-duanya. Dokumentasinya menyatakan ia tidak bertujuan untuk kegunaan keagamaan yang mengutamakan rukyah anak bulan, jadi tarikh yang ditetapkan melalui rukyah boleh berbeza daripada nilai yang ditukar. Simpan tarikh seperti yang ditulis di sebelah tarikh yang ditukar.
Digit Arab Timur tidak memerlukan pengendalian khas di sini: model memulangkan integer. Jika anda menghurai tarikh sendiri, petakan ٠١٢٣٤٥٦٧٨٩ (dan ۰–۹ Parsi) kepada 0–9 dahulu.
Bagaimana pula dengan nama dalam Arabizi dan teks bercampur?
Mesej pelanggan sering menulis nama dalam huruf Rumi: “ana 7a2ool la Mo7ammad bokra”. Peraturan rentang tepat masih berfungsi: teks entitinya ialah “Mo7ammad”, dan semakan subrentetan lulus. Yang gagal ialah memadankan rekod itu dengan محمد dalam CRM anda. Lakukannya dalam langkah kedua: tukar rentang itu kepada skrip Arab, seperti dalam mengendalikan Arabizi, kemudian padankan dengan rekod anda menggunakan normalisasi yang sama. Simpan bendera keyakinan pada mana-mana rekod yang melalui penukaran.
Perkara yang sama terpakai pada nama syarikat Inggeris dalam ayat Arab, dan ejaan Rumi bagi nama Arab (Mohammed, Muhammad, Mohamed). Jangan minta langkah pengekstrakan memilih satu ejaan.
Bagaimanakah memberi skor kepada pengekstrak?
Labelkan 100 hingga 200 sampel sebenar dengan tangan, menggunakan senarai jenis yang sama. Kemudian bandingkan ramalan dengan padanan tepat peringkat entiti pada teks ternormal dan jenis, dan laporkan precision, recall dan F1 bagi setiap jenis:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
Pada set mainan dua ayat (tiga entiti emas; ramalan melabel جدة sebagai ORG dan bukan LOCATION serta menambah satu tempat lagi), ia mencetak micro precision 0.5, recall 0.667 dan F1 0.571, dan LOCATION F1 0. Paparan mengikut jenis menunjukkan di mana usaha patut ditumpukan: skor ORG yang lemah biasanya bermaksud definisi jenis anda memerlukan contoh, bukan model yang lebih besar.
Tentukan lebih awal apa yang dikira sebagai padanan. Padanan tepat adalah ketat: “شركة النخيل” berbanding emas “شركة النخيل للتقنية” diskor sebagai satu positif palsu dan satu negatif palsu. Jika rentang separa boleh diterima untuk kegunaan anda, laporkan skor kedua berasaskan pertindihan, tetapi kekalkan skor ketat sebagai angka utama.
Model BroadNet manakah yang patut digunakan?
Semua harga adalah setiap 1M token, daripada halaman harga BroadNet.
| Model | Sebab | Input / output |
|---|---|---|
| Qwen3.8 27B | Output berstruktur didokumenkan; BroadNet melaporkan ia diuji dalam bahasa Arab, termasuk pemahaman dialek Teluk dan Mesir; boleh membaca imej | $0.175 / $2.17 |
| GLM 5.3 | Output berstruktur didokumenkan; konteks 1,048,576 token untuk dokumen yang sangat panjang | $0.78 / $3.46 |
| Gemma 4 VL 26B | Berjalan dengan kredit permulaan $5; tiada output berstruktur didokumenkan, jadi sahkan JSON yang dihasilkan melalui prompt sahaja; konteks 32,768 token | $0.10 / $0.22 |
Jalankan skrip pemarkahan pada sampel anda dengan setiap calon dan pilih berdasarkan F1 setiap jenis dan kos, bukan huraian vendor. Bahasa Arab biasanya memerlukan lebih banyak token daripada bahasa Inggeris untuk kandungan yang sama; token setiap perkataan dalam bahasa Arab mempunyai nisbah yang diukur. Untuk entiti dalam borang atau foto yang diimbas, ekstrak terus daripada imej, seperti dalam membaca invois bahasa Arab dengan vision.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference memberi anda akses serasi OpenAI kepada model di atas dengan satu kunci, jadi kod berjalan dengan OpenAI Python SDK selepas menukar base URL. Dokumentasinya menyatakan prompt dan jawapan tidak disimpan selepas permintaan, yang penting apabila teks penuh dengan nama orang. Ia tiada endpoint NER khusus dan tidak menerbitkan penanda aras NER bahasa Arab sendiri, jadi ukur pada data anda. Jika anda perlukan penanda yang dihoskan sendiri untuk volum tinggi, model yang ditala halus pada Wojood atau label anda sendiri mungkin lebih murah dan lebih konsisten daripada mana-mana LLM; jurang yang diterbitkan di atas ialah sebab untuk menyemaknya.
