BroadRouter

Ekstraksi entitas bernama bahasa Arab dengan LLM: JSON, tanggal, cek

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan

Minta model menyalin setiap entitas persis seperti tertulis, dengan tipe dari daftar tetap, dalam format JSON. Cek setiap entitas di kode: entitas harus muncul di sumber setelah harakat dihapus dan bentuk alif diseragamkan. Konversi tanggal Hijriah dengan pustaka seperti hijridate, bukan dengan model. Nilai sampel berlabel manual dengan precision, recall, dan F1 tingkat entitas.

Ekstraksi entitas bernama mengubah paragraf menjadi record yang bisa dipakai kode Anda: siapa, organisasi mana, di mana, dan kapan. Bahasa Arab menambahkan empat masalah yang jarang ditemui pipeline bahasa Inggris: harakat opsional, beberapa ejaan untuk huruf yang sama, nama yang ditulis dengan huruf Latin (Arabizi), dan tanggal dalam dua kalender. Artikel ini membangun langkah ekstraksi di atas LLM yang kompatibel dengan OpenAI yang menangani masing-masing di kode, plus skrip penilaian untuk memberi tahu apakah langkah itu bekerja pada teks Anda.

Untuk mengklasifikasikan pesan utuh alih-alih menarik rentang darinya, lihat klasifikasi teks bahasa Arab. Untuk opsi permintaan JSON itu sendiri, lihat JSON mode vs json_schema.

Seberapa baik LLM untuk NER bahasa Arab?

Pengukuran publik paling relevan yang kami temukan adalah LAraBench (Abdelali dkk., EACL 2024), yang menjalankan GPT-3.5 dan GPT-4 pada set NER bahasa Arab sebagai tagging token per token. Macro-F1, makin tinggi makin baik:

Dataset GPT-3.5 zero-shot GPT-4 zero-shot GPT-4 3-shot Sistem fine-tuning yang dikutip
ANERcorp (berita) 0,210 0,355 0,420 0,886
AQMAR (Wikipedia) 0,230 0,365 0,390 0,690
QASR (transkrip) 0,208 0,504 n/a 0,698

Contoh tambahan membantu: GPT-4 di ANERcorp naik dari 0,355 tanpa contoh ke 0,451 dengan sepuluh contoh. Para penulis juga harus memetakan ulang tag yang ditulis model dalam formatnya sendiri, misalnya PER-B alih-alih B-PER.

Baca ini dengan hati-hati. Ini model tahun 2023 yang mengerjakan tugas tagging ketat pada set label benchmark. Model terkini yang diminta membuat daftar singkat orang dan perusahaan di tiket support bisa jauh lebih baik, atau tidak. Tabel ini memberi tahu dua hal yang masih berlaku: LLM tidak otomatis menjadi sistem NER yang bagus, dan Anda butuh pengukuran sendiri.

Dataset NER bahasa Arab apa saja yang ada?

Dataset Teks Ukuran dan label
ANERcorp Berita Sekitar 150.000 token; orang, lokasi, organisasi, lain-lain. CAMeL Lab menerbitkan split train/test standar
CLEANANERCorp ANERcorp, dikoreksi Memperbaiki kesalahan anotasi, label yang hilang, dan inkonsistensi yang ditemukan di versi asli
AQMAR Wikipedia bahasa Arab 74.000 token dari 28 artikel
Wojood MSA dan dialek Sekitar 550.000 token, 21 tipe entitas, bersarang; dipakai di shared task WojoodNER 2023
CANERCorpus Hadis berbahasa Arab Klasik Lebih dari 7.000 hadis, 20 tipe tentang topik keislaman

Pakai dataset ini untuk mengecek kewajaran prompt, bukan sebagai tes penerimaan Anda. Tipe entitas Anda (pelanggan, produk, cabang, nomor kontrak) akan berbeda dari milik mereka, dan lisensinya juga berbeda. Cek masing-masing sebelum dipakai secara komersial.

Apa yang harus diminta dalam prompt?

Tiga aturan membuat output bisa dicek:

  1. Salin rentangnya persis. Tanpa terjemahan, tanpa transliterasi, tanpa “melengkapi” nama depan menjadi nama lengkap. Jika Anda butuh ejaan bahasa Inggris, minta di field terpisah dan anggap belum terverifikasi.
  2. Daftar tipe tertutup. PERSON, ORG, LOCATION, DATE, atau set Anda sendiri. Tipe bebas tidak bisa dinilai.
  3. Tanggal sebagai bagian, bukan konversi. Minta tahun, bulan, dan hari seperti tertulis, plus kalendernya. هـ di belakang menandai tanggal Hijriah; م menandai Masehi.

Tulis instruksi dalam bahasa Inggris atau Arab; prompt engineering bahasa Arab membahas untung-ruginya. Taruh bentuk JSON di system prompt dan jaga agar identik di setiap permintaan supaya bisa di-cache.

Bagaimana mengecek entitas terhadap sumber?

Model bisa mengembalikan nama yang tidak pernah disebut teks, atau menyalin nama dengan benar tetapi tanpa harakatnya. Tes substring biasa tidak bisa membedakan keduanya. Normalisasi kedua sisi lebih dulu: hapus tasykil dan tatwil, seragamkan bentuk alif, dan gabungkan عبد ال sehingga عبد الله cocok dengan عبدالله. Aturannya sama dengan normalisasi teks bahasa Arab untuk pencarian, hanya diterapkan untuk pencocokan. Simpan rentang asli untuk ditampilkan.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

Kami menjalankannya terhadap server tiruan lokal (tanpa panggilan API langsung) yang balasan siapnya menambahkan satu orang karangan dan satu tanggal mustahil (bulan 13). Output mempertahankan خالد بن سعيد (balasan membuang harakat; pencocokan ternormalisasi tetap menemukannya), شركة النخيل للتقنية, dan جدة. Kode mengonversi ١٥ جمادى الآخرة ١٤٤٥هـ menjadi 2023-12-28, dan mencatat dua masalah: nama karangan ditandai “not in source” (tidak ada di sumber), dan bulan 13 memunculkan “month must be in 1-12”. Nama dan perusahaan itu fiktif.

Catatan tentang kode:

  • max_tokens=2000 menyisakan ruang untuk penalaran. Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran itu dihitung ke dalam max_tokens. Lihat respons kosong dari model penalaran.
  • json.loads bisa gagal. Bungkus, dan jika gagal, kirim ulang sekali beserta error-nya, seperti di loop perbaikan. Pada GLM 5.3 dan Qwen3.8 27B, yang didokumentasikan BroadNet dengan output terstruktur, tambahkan juga skema response_format. Validasi tetap dijalankan apa pun pilihannya.
  • Pencocokan substring sengaja dibuat longgar. Pencocokan ini memastikan rentangnya ada; tidak memastikan tipenya. Tipe adalah hal yang diukur oleh langkah penilaian di bawah.

Bagaimana menangani tanggal Hijriah?

Teks bahasa Arab menulis tanggal dengan banyak cara: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, atau tanggal Masehi dengan nama bulan yang berbeda per wilayah (نوفمبر di Mesir dan Teluk, تشرين الثاني di Syam). Model biasanya bisa memecah ini menjadi bagian-bagian, dan kode mengecek bagian-bagian itu. Konversi antarkalender adalah aritmetika pada tabel yang sudah dipublikasikan, dan tidak ada alasan model akan melakukannya dengan benar.

hijridate, sebelumnya hijri-converter, mengonversi dengan kalender Umm al-Qura. Rentang yang didokumentasikan adalah 1343 sampai 1500 H (1 Agustus 1924 sampai 16 November 2077 M). Di luar rentang, pustaka ini memunculkan OverflowError; bulan atau hari yang tidak valid memunculkan ValueError, itulah sebabnya kode menangkap keduanya. Dokumentasinya menyebutkan pustaka ini tidak dimaksudkan untuk keperluan keagamaan yang lebih mengutamakan rukyat hilal, jadi tanggal yang ditetapkan lewat rukyat bisa berbeda dari nilai hasil konversi. Simpan tanggal seperti tertulis di samping hasil konversinya.

Angka Arab Timur tidak perlu penanganan khusus di sini: model mengembalikan bilangan bulat. Jika Anda mem-parsing tanggal sendiri, petakan dulu ٠١٢٣٤٥٦٧٨٩ (dan angka Persia ۰–۹) ke 0–9.

Bagaimana dengan nama dalam Arabizi dan teks campuran?

Pesan pelanggan sering menulis nama dengan huruf Latin: “ana 7a2ool la Mo7ammad bokra”. Aturan rentang persis tetap berlaku: teks entitasnya “Mo7ammad”, dan cek substring lolos. Yang gagal adalah mencocokkan record itu dengan محمد di CRM Anda. Lakukan itu di langkah kedua: konversi rentangnya ke aksara Arab, seperti di menangani Arabizi, lalu cocokkan dengan record Anda memakai normalisasi yang sama. Beri tanda keyakinan pada setiap record yang melewati konversi.

Hal yang sama berlaku untuk nama perusahaan berbahasa Inggris di dalam kalimat bahasa Arab, dan untuk ejaan Latin nama Arab (Mohammed, Muhammad, Mohamed). Jangan minta langkah ekstraksi memilih satu ejaan.

Bagaimana menilai ekstraktornya?

Beri label manual pada 100 sampai 200 sampel nyata, dengan daftar tipe yang sama. Lalu bandingkan prediksi dengan kecocokan persis tingkat entitas pada teks ternormalisasi dan tipe, dan laporkan precision, recall, dan F1 per tipe:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

Pada set mainan dua kalimat (tiga entitas emas; prediksi memberi جدة tipe ORG alih-alih LOCATION dan menambahkan satu tempat ekstra), skrip mencetak micro precision 0,5, recall 0,667, dan F1 0,571, serta F1 LOCATION 0. Tampilan per tipe menunjukkan di mana usaha perlu dicurahkan: skor ORG yang lemah biasanya berarti definisi tipe Anda butuh contoh, bukan model yang lebih besar.

Tentukan sejak awal apa yang dihitung sebagai kecocokan. Kecocokan persis itu ketat: “شركة النخيل” terhadap emas “شركة النخيل للتقنية” dihitung sebagai satu false positive dan satu false negative. Jika rentang parsial bisa diterima untuk kebutuhan Anda, laporkan skor kedua berbasis tumpang-tindih, tetapi tetap jadikan skor ketat sebagai angka utama.

Model BroadNet mana yang sebaiknya dipakai?

Semua harga per 1 juta token, dari halaman harga BroadNet.

Model Alasan Input / output
Qwen3.8 27B Output terstruktur terdokumentasi; BroadNet melaporkan model ini diuji dalam bahasa Arab, termasuk pemahaman dialek Teluk dan Mesir; bisa membaca gambar $0.175 / $2.17
GLM 5.3 Output terstruktur terdokumentasi; konteks 1.048.576 token untuk dokumen yang sangat panjang $0.78 / $3.46
Gemma 4 VL 26B Berjalan dengan kredit awal $5; output terstruktur tidak didokumentasikan, jadi validasi JSON yang hanya dihasilkan lewat prompt; konteks 32.768 token $0.10 / $0.22

Jalankan skrip penilaian pada sampel Anda dengan setiap kandidat dan pilih berdasarkan F1 per tipe dan biaya, bukan berdasarkan deskripsi vendor. Bahasa Arab biasanya butuh lebih banyak token daripada bahasa Inggris untuk isi yang sama; token per kata dalam bahasa Arab berisi rasio hasil pengukuran. Untuk entitas di dalam formulir hasil pindai atau foto, ekstrak langsung dari gambar, seperti di membaca faktur bahasa Arab dengan vision.

Posisi BroadNet Inference

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference memberi akses yang kompatibel dengan OpenAI ke model-model di atas dengan satu kunci, jadi kode berjalan dengan OpenAI Python SDK setelah base URL diganti. Dokumentasinya menyebutkan prompt dan jawaban tidak disimpan setelah permintaan, yang penting ketika teks penuh dengan nama orang. BroadNet tidak punya endpoint NER khusus dan tidak menerbitkan benchmark NER bahasa Arab sendiri, jadi ukur pada data Anda. Jika Anda butuh tagger self-hosted untuk volume tinggi, model hasil fine-tuning yang dilatih dengan Wojood atau label Anda sendiri bisa lebih murah dan lebih konsisten daripada LLM mana pun; selisih yang dipublikasikan di atas adalah alasan untuk mengeceknya.

Pertanyaan umum

Apakah LLM bisa melakukan named entity recognition bahasa Arab?

Bisa, dengan pengecekan. Hasil zero-shot yang dipublikasikan untuk NER bahasa Arab tingkat token tertinggal jauh dari model hasil fine-tuning, jadi validasi setiap entitas terhadap teks sumber dan nilai model pada sampel berlabel dari data Anda sendiri sebelum mengandalkannya.

Bagaimana mencocokkan nama Arab yang berharakat dan tidak berharakat?

Normalisasi kedua sisi sebelum membandingkan: hapus tasykil (U+064B sampai U+065F), alif khanjariyah, dan tatwil, petakan إ أ آ ٱ ke ا dan ى ke ي, lalu rapikan spasi. Simpan teks asli untuk ditampilkan; pakai bentuk ternormalisasi hanya untuk pencocokan.

Bagaimana mengonversi tanggal Hijriah ke Masehi di Python?

Pakai hijridate (sebelumnya hijri-converter): Hijri(1445, 6, 15).to_gregorian() mengembalikan 2023-12-28. Pustaka ini mengikuti kalender Umm al-Qura, mendukung 1343 sampai 1500 H, dan tidak dimaksudkan untuk tanggal keagamaan yang ditetapkan lewat rukyat.

Dataset NER bahasa Arab apa yang bisa saya pakai untuk menguji?

ANERcorp (berita, sekitar 150.000 token, empat tipe), AQMAR (74.000 token Wikipedia), Wojood (sekitar 550.000 token MSA dan dialek dengan 21 tipe bersarang), dan CANERCorpus (hadis berbahasa Arab Klasik, 20 tipe). Cek lisensi masing-masing, dan petakan labelnya ke label Anda.

Apakah model sebaiknya menerjemahkan atau mentransliterasi nama?

Tidak pada langkah ekstraksi. Minta rentang sumber yang persis sama, agar Anda bisa memverifikasinya. Tambahkan field terpisah untuk ejaan Latin jika perlu, dan anggap field itu belum terverifikasi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity