BroadRouter

Tambah baris pada teks Arab dengan LLM: prompt, semakan dan DER

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan · Dikemas kini

Minta model memberi tashkeel penuh dan tiada apa-apa lagi, kemudian buang diakritik daripada balasannya dan bandingkan dengan input anda. Jika ada huruf yang berubah, tolak dan cuba semula. Skor sampel yang disemak manusia dengan kadar ralat diakritik (DER) dan kadar ralat perkataan (WER), dengan dan tanpa baris akhir kata. Hasil yang diterbitkan meletakkan GPT-4 hampir dengan, tetapi di belakang, pemberi baris khusus terbaik.

Bahasa Arab biasanya ditulis tanpa vokal pendek. Pembaca mengisinya daripada konteks; perisian selalunya tidak mampu. Memulihkannya, yang dipanggil pemberian baris (diacritization) atau tashkeel, menukar كتب kepada كَتَبَ (dia menulis), كُتُبٌ (buku-buku) atau كُتِبَ (ia telah ditulis), bergantung pada ayat. Artikel ini menunjukkan cara melakukannya dengan LLM melalui API serasi OpenAI, cara menghalang model daripada mengubah teks anda secara senyap, dan cara mengukur hasilnya berbanding pemberi baris khusus.

Bilakah anda memerlukan baris?

  • Text-to-speech. Suara memerlukan vokal untuk menyebut perkataan. Kertas CATT menyenaraikan text-to-speech dan terjemahan mesin sebagai aplikasi yang diperbaik oleh diakritik. BroadNet Inference tiada endpoint text-to-speech, jadi dalam saluran TTS, teks berbaris dihantar ke perkhidmatan TTS yang berasingan.
  • Pelajar dan bahan kanak-kanak. Pembaca yang masih belajar bergantung pada tanda baris.
  • Nama dan istilah yang samar. Kata nama khas, perkataan jarang dan istilah teknikal yang maknanya berubah jika vokalnya salah.
  • Teks agama dan klasik. Di sini tanda baris ialah sebahagian daripada teks, dan alat automatik hanya patut mengisi kekosongan di bawah semakan manusia.

Anda biasanya tidak mahu baris untuk carian atau perolehan semula. Di situ anda membuangnya, seperti dalam penormalan teks Arab untuk carian. Penormal teks Arab percuma membuang tanda itu dalam pelayar. Pemberian baris ialah operasi sebaliknya, dan jauh lebih sukar: membuang tanda hanyalah carian jadual, manakala menambahnya memerlukan tatabahasa dan konteks.

Sejauh manakah LLM bagus dalam pemberian baris?

Dua angka yang diterbitkan, yang perlu dibaca dengan berhati-hati:

Sistem Penanda aras CATT, DER dengan baris akhir kata DER tanpa WER dengan baris akhir kata WER tanpa
CATT pengekod-penyahkod 8.624% 6.989% 34.191% 28.477%
CATT pengekod sahaja 8.762% 7.088% 35.508% 29.714%
GPT-4 (GPT-4-turbo menurut teks kertas itu) 9.515% 8.113% 38.311% 33.505%
Command R+ 13.169% 11.329% 48.518% 44.158%
Shakkala 13.494% 10.386% 50.387% 40.643%
Mishkal 16.482% 10.796% 60.844% 40.215%

Sumber: Jadual 4 dalam kertas CATT (2024). Lebih rendah lebih baik. Penanda aras ini terdiri daripada 742 ayat berita yang dikikis pada 2023, diberi baris oleh dua pakar penutur asli dan disemak oleh pakar ketiga.

Pada set ujian kedua kertas itu, WikiNews (400 ayat), GPT-4 mencatat skor jauh lebih baik daripada yang lain: 0.551% DER. Penulis menandakan baris itu dan mencadangkan model itu mungkin telah melihat WikiNews semasa latihan. Itulah amaran umum bagi penanda aras LLM: teks ujian awam mungkin ada dalam data latihan. Penulis CATT menimbulkan kebimbangan yang sama tentang Tashkeela, yang buku-bukunya mengandungi banyak petikan al-Quran dan hadis.

Satu kertas 2024 yang berasingan oleh Skiredj dan Berrada melaporkan GPT-4 pada kira-kira 20% DER dan 30% WER pada penanda aras Fadel et al., tanpa butiran yang kami perlukan untuk membandingkannya dengan jadual di atas.

Jadi model setaraf GPT-4 boleh menghampiri pemberi baris khusus, dan boleh juga ketinggalan. Kedua-dua kertas itu lebih awal daripada model terbuka yang boleh anda panggil hari ini. Ukur pada teks anda sendiri.

Set ujian manakah yang wujud?

Set data Apakah ia
Tashkeela 75,629,921 perkataan berbaris penuh daripada 97 buku; 98.85% bahasa Arab klasik daripada perpustakaan Shamela, 1.15% bahasa Arab Standard moden
Penanda aras Fadel et al. Kira-kira 2.3J perkataan yang diekstrak daripada Tashkeela; 50,000 baris latihan, 2,500 pengesahan dan 2,500 ujian
Penanda aras CATT 742 ayat berita yang diberi baris secara manual, dikeluarkan bersama model CATT
WikiNews 400 ayat berita MSA yang diberi baris secara manual

Tashkeela dan set Fadel kebanyakannya klasik. Jika teks anda bahasa Arab perniagaan atau berita moden, set CATT dan WikiNews lebih hampir, dan sampel teks anda sendiri paling hampir.

Prompt apakah yang mengekalkan huruf?

Tugas model ialah menambah tanda dan tidak menyentuh apa-apa lagi. LLM suka membantu, dan ia akan membetulkan الى kepada إلى, menukar ى akhir kepada ي atau menambah hamzah yang tiada. Setiap satu mungkin bahasa Arab yang betul, tetapi itu pembetulan ejaan, bukan pemberian baris. Ia mengubah teks anda tanpa memberitahu.

Jadi prompt menyatakan peraturannya, dan kod menguatkuasakannya: buang diakritik daripada balasan dan bandingkan dengan input yang juga dibuang diakritiknya. Jika satu huruf, ruang atau tanda baca berbeza, balasan itu ditolak.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))

Kami menjalankannya terhadap pelayan olok-olok setempat, bukan API langsung. Balasan sedianya untuk ayat pertama “membetulkan” الى kepada إلى dalam kedua-dua cubaan, dan balasan untuk ayat kedua bersih. Outputnya:

attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ

Nota tentang kod:

  • Unicode NFC dahulu. Hamzah boleh tiba sebagai satu aksara pragubah (أ) atau sebagai huruf dengan tanda gabungan. NFC menjadikan kedua-dua pihak sama sebelum dibandingkan. Artikel penormalan menerangkan perangkap ini dengan terperinci.
  • max_tokens=4000. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam max_tokens. Had yang terlalu kecil memulangkan balasan kosong, yang akan ditolak oleh semakan. Beri ruang, atau tetapkan reasoning_effort kepada low; lihat respons kosong daripada model penaakulan dan kalkulator bajet token penaakulan.
  • Semakan ini tidak menguji “keep existing diacritics”. Jika input anda sebahagiannya sudah berbaris, bandingkan tanda-tanda itu juga.
  • Ejaan ialah keputusan berasingan. Jika anda mahu الى dibetulkan, jalankan langkah pembetulan dahulu, kemudian beri baris pada teks yang telah dibetulkan. Mencampurkan kedua-duanya menjadikan kedua-duanya mustahil disemak.
  • Pecahkan teks panjang. Hantar satu ayat atau perenggan bagi setiap permintaan. CATT sendiri mengehadkan input kepada 1,024 aksara dan memecahkan ayat panjang pada tanda baca; tabiat yang sama memastikan balasan LLM pendek dan cubaan semula murah.

Untuk nasihat umum tentang menulis prompt bahasa Arab, termasuk bila hendak memberitahu model supaya tidak menambah baris, lihat kejuruteraan prompt bahasa Arab.

Bagaimanakah anda memarkahkan pemberian baris: DER dan WER?

Kadar ralat diakritik (DER) ialah bahagian huruf yang diakritiknya berbeza daripada rujukan. Kadar ralat perkataan (WER) di sini ialah bahagian perkataan yang mempunyai sekurang-kurangnya satu diakritik salah. Itu bukan WER pengecaman pertuturan dalam artikel ASR kami; ia mengira perkataan dengan tanda yang salah, bukan perkataan yang disisip atau dipadam.

Dua tetapan banyak mengubah angka:

  • Dengan atau tanpa baris akhir kata. Huruf terakhir sesuatu perkataan membawa kasus tatabahasanya (i’rab), yang bergantung pada sintaksis. Kertas-kertas melaporkan kedua-dua tetapan, kerana baris akhir kata menyebabkan banyak ralat.
  • Mengira huruf tanpa diakritik. Sesetengah skrip mengira huruf tanpa baris (seperti alef dalam الطالب) sebagai ramalan “tiada diakritik” yang betul; sesetengahnya melangkaunya. Skrip pemarkahan Fadel mempunyai bendera untuk ini.

Skrip yang diterbitkan berbeza dalam pilihan ini, jadi bandingkan hanya angka yang dihasilkan oleh skrip yang sama. Skrip ini cukup pendek untuk dibaca:

import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))

Ramalan contoh mempunyai dua baris akhir kata yang salah dan satu vokal dalaman yang salah merentas 32 huruf dan 7 perkataan. Ia mencetak DER 9.38 dan WER 42.86 dengan baris akhir kata, dan DER 4.0 dan WER 14.29 tanpanya. Perhatikan bagaimana WER membesarkan beberapa ralat: satu tanda yang salah merosakkan seluruh perkataan.

Skrip ini enggan memarkahkan perkataan yang hurufnya telah berubah. Itu disengajakan. Pemberi baris yang menyunting huruf telah gagal dalam tugasnya, dan DER-nya tidak bermakna.

Sebagai semakan kedua, kami menjalankan Mishkal 0.4.1, pemberi baris berasaskan peraturan, pada satu ayat 16 perkataan yang kami beri baris secara manual. Kesemua empat ralatnya ialah baris akhir kata, seperti مُحَمَّدُ untuk مُحَمَّدٌ. Ia mencatat DER 5.88 dengan baris akhir kata dan 0.0 tanpanya. Satu ayat tidak membuktikan apa-apa tentang Mishkal; ia menunjukkan mengapa anda melaporkan kedua-dua tetapan.

Untuk membina set ujian, ambil 100 hingga 200 ayat daripada teks anda sendiri, minta penutur asli memberi baris, buang tanda-tanda itu, dan jalankan setiap calon. Simpan versi manusia sebagai rujukan emas.

Bilakah pemberi baris khusus mengatasi LLM?

Pilih Bila
Model khusus (CATT, libtashkeel, Mishkal) Volum tinggi, jenis teks tetap, kependaman ketat, penggunaan luar talian atau pada peranti, atau keperluan output huruf demi huruf secara reka bentuk
LLM melalui API Volum rendah atau tidak sekata, input bercampur atau bersepah, pasukan tanpa ML ops, atau saluran yang sudah memanggil LLM untuk langkah lain

Model khusus meramalkan satu tanda bagi setiap huruf, jadi ia tidak boleh menulis semula teks anda. CATT berlesen Apache 2.0 dan dipasang dengan pip install catt-tashkeel; README-nya mengesyorkan model pengekod sahaja untuk kelajuan dan pengekod-penyahkod untuk ketepatan. libtashkeel berlesen MIT dan dilatih terutamanya pada MSA. Mishkal berasaskan peraturan dan berlesen GPL, yang penting jika anda menghantarnya di dalam produk.

LLM lebih cepat untuk bermula dan mampu mengendalikan input yang tidak pernah dilihat oleh model terlatih: dialek, campuran bahasa Arab dan Inggeris, tanda baca yang pelik. Ia memerlukan semakan rangka di atas pada setiap balasan, dan kosnya dikira setiap token.

Berapakah kos pemberian baris dengan LLM?

Diakritik ialah aksara tambahan, dan tokenizer memecahkannya kepada token tambahan. Kami mengira set ujian Fadel 2,500 baris (125,098 perkataan) dengan tokenizer setiap model sendiri, teks tanpa baris berbanding teks berbaris penuh:

Tokenizer Teks tanpa baris Berbaris Nisbah
Qwen3.8 27B 196,987 407,144 2.07×
DeepSeek V4.1 Flash 222,555 540,454 2.43×
Gemma 4 VL 26B 208,769 508,758 2.44×
GLM 5.3 239,753 770,361 3.21×

Anda membayar token input untuk teks tanpa baris dan token output untuk balasan berbaris, ditambah sebarang penaakulan. Output ialah bahagian yang mahal: $2.17 setiap sejuta token pada Qwen3.8 27B, $0.52 pada DeepSeek V4.1 Flash, $3.46 pada GLM 5.3 dan $0.22 pada Gemma 4 VL 26B, daripada halaman harga BroadNet. Cubaan semula selepas semakan gagal menambah lagi. Tampal teks anda sendiri ke dalam pengira token bahasa Arab untuk menyemak nisbah pada data anda, dan lihat token setiap perkataan dalam bahasa Arab dan Inggeris untuk sebab bahasa Arab memerlukan lebih banyak token sejak awal.

Untuk kerja sekali sahaja ke atas arkib besar, pelan DeepSeek V4.1 Flash menggantikan meter dengan harga rata setiap sesi ($15 seminggu atau $1 sejam); setiap sesi menjalankan satu permintaan pada satu masa, jadi rancang larian seperti dalam pemprosesan kelompok tanpa API kelompok.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference menyediakan empat model chat di atas melalui satu endpoint serasi OpenAI, jadi kod ini berjalan dengan OpenAI Python SDK sebaik sahaja base URL dan kunci ditetapkan. Gemma 4 VL 26B berjalan pada kredit permulaan $5; DeepSeek, GLM dan Qwen memerlukan tambah nilai. BroadNet tiada endpoint pemberian baris, tidak menerbitkan penanda aras pemberian baris sendiri dan tiada text-to-speech. Model mana yang paling baik memberi baris pada teks anda belum diukur: skor model-model itu pada sampel anda sendiri sebelum memilih. Lihat rujukan API untuk butiran permintaan.

Soalan lazim

Bagaimanakah saya menambah baris pada teks Arab dalam Python?

Dua cara. Pasang pemberi baris khusus seperti catt-tashkeel (Apache 2.0) atau mishkal (GPL) dan jalankannya secara setempat, atau hantar teks kepada LLM dengan prompt yang meminta tashkeel sahaja. Dengan LLM, sentiasa semak bahawa balasan tanpa diakritiknya sama dengan input anda.

Adakah ChatGPT atau GPT-4 bagus dalam memberi baris teks Arab?

Hampir dengan sistem khusus terbaik dalam sesetengah ujian, di belakangnya dalam ujian lain. Kertas CATT mengukur GPT-4 pada 9.515% DER dengan baris akhir kata pada penanda aras beritanya, berbanding 8.624% bagi modelnya sendiri. Satu lagi kertas 2024 melaporkan kira-kira 20% DER bagi GPT-4 pada penanda aras Fadel. Uji pada teks anda sendiri.

Apakah perbezaan antara DER dan WER untuk pemberian baris?

DER ialah bahagian huruf yang diakritiknya salah. WER ialah bahagian perkataan yang mempunyai sekurang-kurangnya satu diakritik salah, jadi ia sentiasa lebih tinggi. Kedua-duanya dilaporkan dengan baris akhir kata (huruf terakhir setiap perkataan) dan tanpanya.

Mengapakah LLM saya mengubah huruf semasa menambah tashkeel?

Ia turut membetulkan ejaan: الى menjadi إلى, ى menjadi ي, hamzah yang tiada muncul. Itu mungkin betul, tetapi itu pembetulan, bukan pemberian baris, dan ia merosakkan pemarkahan huruf demi huruf. Minta model tidak berbuat demikian, semak setiap balasan, dan jalankan pembetulan ejaan sebagai langkah berasingan jika anda mahukannya.

Bolehkah BroadNet membacakan teks berbaris itu dengan suara?

Tidak. BroadNet Inference tiada endpoint text-to-speech. Ia menawarkan model chat dan speech-to-text. Jika pemberian baris ialah bahagian hadapan saluran TTS, hantar hasilnya ke perkhidmatan TTS yang berasingan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity