---
title: "Tambah baris (tashkeel) pada teks Arab dengan LLM | BroadRouter"
description: "Pulihkan baris (tashkeel) bahasa Arab dengan API LLM: prompt yang mengekalkan setiap huruf, semakan yang menolak suntingan, skor DER dan WER, dan bila guna CATT."
url: https://broadrouter.com/ms/blog/arabic-diacritization-llm/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/arabic-diacritization-llm/) (dikemas kini 2026-11-16).

# Tambah baris pada teks Arab dengan LLM: prompt, semakan dan DER

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

Minta model memberi tashkeel penuh dan tiada apa-apa lagi, kemudian buang diakritik daripada balasannya dan bandingkan dengan input anda. Jika ada huruf yang berubah, tolak dan cuba semula. Skor sampel yang disemak manusia dengan kadar ralat diakritik (DER) dan kadar ralat perkataan (WER), dengan dan tanpa baris akhir kata. Hasil yang diterbitkan meletakkan GPT-4 hampir dengan, tetapi di belakang, pemberi baris khusus terbaik.

## Perkara utama

-   Satu peraturan yang menjadikan pemberian baris oleh LLM selamat: balasan, selepas diakritiknya dibuang, mesti sama tepat dengan input. Jika tidak, model telah mengubah huruf, dan anda menolaknya.
-   Pada penanda aras CATT (742 ayat berita), model pengekod-penyahkod CATT mencatat 8.624% DER dengan baris akhir kata, berbanding 9.515% bagi GPT-4 dan 16.482% bagi Mishkal (kertas CATT, 2024).
-   Baris akhir kata ialah bahagian yang sukar. Setiap jadual yang diterbitkan melaporkan DER dan WER dengan dan tanpanya, dan jurangnya besar. Laporkan kedua-duanya untuk ujian anda sendiri.
-   Teks berbaris menggunakan lebih banyak token. Pada set ujian Fadel 2,500 baris, tashkeel penuh mengambil 2.07 hingga 3.21 kali token teks tanpa baris merentas empat tokenizer model yang kami jalankan.
-   Untuk volum tinggi dan jenis teks yang tetap, pemberi baris sumber terbuka khusus seperti CATT (Apache 2.0) lebih murah dan mengekalkan huruf secara reka bentuk. LLM lebih mudah dimulakan dan mengendalikan input yang luar biasa.

**Dalam halaman ini**

1.  Bilakah anda memerlukan baris?
2.  Sejauh manakah LLM bagus dalam pemberian baris?
3.  Set ujian manakah yang wujud?
4.  Prompt apakah yang mengekalkan huruf?
5.  Bagaimanakah anda memarkahkan pemberian baris: DER dan WER?
6.  Bilakah pemberi baris khusus mengatasi LLM?
7.  Berapakah kos pemberian baris dengan LLM?
8.  Di manakah BroadNet Inference sesuai

Bahasa Arab biasanya ditulis tanpa vokal pendek. Pembaca mengisinya daripada konteks; perisian selalunya tidak mampu. Memulihkannya, yang dipanggil pemberian baris (diacritization) atau tashkeel, menukar كتب kepada كَتَبَ (dia menulis), كُتُبٌ (buku-buku) atau كُتِبَ (ia telah ditulis), bergantung pada ayat. Artikel ini menunjukkan cara melakukannya dengan LLM melalui API serasi OpenAI, cara menghalang model daripada mengubah teks anda secara senyap, dan cara mengukur hasilnya berbanding pemberi baris khusus.

## Bilakah anda memerlukan baris?

-   **Text-to-speech.** Suara memerlukan vokal untuk menyebut perkataan. Kertas CATT menyenaraikan text-to-speech dan terjemahan mesin sebagai aplikasi yang diperbaik oleh diakritik. BroadNet Inference tiada endpoint text-to-speech, jadi dalam saluran TTS, teks berbaris dihantar ke perkhidmatan TTS yang berasingan.
-   **Pelajar dan bahan kanak-kanak.** Pembaca yang masih belajar bergantung pada tanda baris.
-   **Nama dan istilah yang samar.** Kata nama khas, perkataan jarang dan istilah teknikal yang maknanya berubah jika vokalnya salah.
-   **Teks agama dan klasik.** Di sini tanda baris ialah sebahagian daripada teks, dan alat automatik hanya patut mengisi kekosongan di bawah semakan manusia.

Anda biasanya tidak mahu baris untuk carian atau perolehan semula. Di situ anda membuangnya, seperti dalam [penormalan teks Arab untuk carian](https://broadrouter.com/ms/blog/arabic-text-normalization-search/). [Penormal teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/) percuma membuang tanda itu dalam pelayar. Pemberian baris ialah operasi sebaliknya, dan jauh lebih sukar: membuang tanda hanyalah carian jadual, manakala menambahnya memerlukan tatabahasa dan konteks.

## Sejauh manakah LLM bagus dalam pemberian baris?

Dua angka yang diterbitkan, yang perlu dibaca dengan berhati-hati:

| Sistem | Penanda aras CATT, DER dengan baris akhir kata | DER tanpa | WER dengan baris akhir kata | WER tanpa |
| --- | --- | --- | --- | --- |
| CATT pengekod-penyahkod | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT pengekod sahaja | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (GPT-4-turbo menurut teks kertas itu) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |

Sumber: Jadual 4 dalam [kertas CATT](https://arxiv.org/html/2407.03236v3) (2024). Lebih rendah lebih baik. Penanda aras ini terdiri daripada 742 ayat berita yang dikikis pada 2023, diberi baris oleh dua pakar penutur asli dan disemak oleh pakar ketiga.

Pada set ujian kedua kertas itu, WikiNews (400 ayat), GPT-4 mencatat skor jauh lebih baik daripada yang lain: 0.551% DER. Penulis menandakan baris itu dan mencadangkan model itu mungkin telah melihat WikiNews semasa latihan. Itulah amaran umum bagi penanda aras LLM: teks ujian awam mungkin ada dalam data latihan. Penulis CATT menimbulkan kebimbangan yang sama tentang Tashkeela, yang buku-bukunya mengandungi banyak petikan al-Quran dan hadis.

Satu kertas 2024 yang berasingan oleh Skiredj dan Berrada melaporkan GPT-4 pada kira-kira 20% DER dan 30% WER pada penanda aras Fadel et al., tanpa butiran yang kami perlukan untuk membandingkannya dengan jadual di atas.

Jadi model setaraf GPT-4 boleh menghampiri pemberi baris khusus, dan boleh juga ketinggalan. Kedua-dua kertas itu lebih awal daripada model terbuka yang boleh anda panggil hari ini. Ukur pada teks anda sendiri.

## Set ujian manakah yang wujud?

| Set data | Apakah ia |
| --- | --- |
| [Tashkeela](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/) | 75,629,921 perkataan berbaris penuh daripada 97 buku; 98.85% bahasa Arab klasik daripada perpustakaan Shamela, 1.15% bahasa Arab Standard moden |
| [Penanda aras Fadel et al.](https://github.com/AliOsm/arabic-text-diacritization) | Kira-kira 2.3J perkataan yang diekstrak daripada Tashkeela; 50,000 baris latihan, 2,500 pengesahan dan 2,500 ujian |
| Penanda aras CATT | 742 ayat berita yang diberi baris secara manual, dikeluarkan bersama model CATT |
| WikiNews | 400 ayat berita MSA yang diberi baris secara manual |

Tashkeela dan set Fadel kebanyakannya klasik. Jika teks anda bahasa Arab perniagaan atau berita moden, set CATT dan WikiNews lebih hampir, dan sampel teks anda sendiri paling hampir.

## Prompt apakah yang mengekalkan huruf?

Tugas model ialah menambah tanda dan tidak menyentuh apa-apa lagi. LLM suka membantu, dan ia akan membetulkan الى kepada إلى, menukar ى akhir kepada ي atau menambah hamzah yang tiada. Setiap satu mungkin bahasa Arab yang betul, tetapi itu pembetulan ejaan, bukan pemberian baris. Ia mengubah teks anda tanpa memberitahu.

Jadi prompt menyatakan peraturannya, dan kod menguatkuasakannya: buang diakritik daripada balasan dan bandingkan dengan input yang juga dibuang diakritiknya. Jika satu huruf, ruang atau tanda baca berbeza, balasan itu ditolak.

```python
import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))
```

Kami menjalankannya terhadap pelayan olok-olok setempat, bukan API langsung. Balasan sedianya untuk ayat pertama “membetulkan” الى kepada إلى dalam kedua-dua cubaan, dan balasan untuk ayat kedua bersih. Outputnya:

```text
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
```

Nota tentang kod:

-   **Unicode NFC dahulu.** Hamzah boleh tiba sebagai satu aksara pragubah (أ) atau sebagai huruf dengan tanda gabungan. NFC menjadikan kedua-dua pihak sama sebelum dibandingkan. [Artikel penormalan](https://broadrouter.com/ms/blog/arabic-text-normalization-search/) menerangkan perangkap ini dengan terperinci.
-   **`max_tokens=4000`.** Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam `max_tokens`. Had yang terlalu kecil memulangkan balasan kosong, yang akan ditolak oleh semakan. Beri ruang, atau tetapkan `reasoning_effort` kepada low; lihat [respons kosong daripada model penaakulan](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/) dan [kalkulator bajet token penaakulan](https://broadrouter.com/tools/reasoning-token-budget/).
-   **Semakan ini tidak menguji “keep existing diacritics”.** Jika input anda sebahagiannya sudah berbaris, bandingkan tanda-tanda itu juga.
-   **Ejaan ialah keputusan berasingan.** Jika anda mahu الى dibetulkan, jalankan langkah pembetulan dahulu, kemudian beri baris pada teks yang telah dibetulkan. Mencampurkan kedua-duanya menjadikan kedua-duanya mustahil disemak.
-   **Pecahkan teks panjang.** Hantar satu ayat atau perenggan bagi setiap permintaan. CATT sendiri mengehadkan input kepada 1,024 aksara dan memecahkan ayat panjang pada tanda baca; tabiat yang sama memastikan balasan LLM pendek dan cubaan semula murah.

Untuk nasihat umum tentang menulis prompt bahasa Arab, termasuk bila hendak memberitahu model supaya tidak menambah baris, lihat [kejuruteraan prompt bahasa Arab](https://broadrouter.com/ms/blog/arabic-prompt-engineering/).

## Bagaimanakah anda memarkahkan pemberian baris: DER dan WER?

**Kadar ralat diakritik (DER)** ialah bahagian huruf yang diakritiknya berbeza daripada rujukan. **Kadar ralat perkataan (WER)** di sini ialah bahagian perkataan yang mempunyai sekurang-kurangnya satu diakritik salah. Itu bukan WER pengecaman pertuturan dalam [artikel ASR kami](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/); ia mengira perkataan dengan tanda yang salah, bukan perkataan yang disisip atau dipadam.

Dua tetapan banyak mengubah angka:

-   **Dengan atau tanpa baris akhir kata.** Huruf terakhir sesuatu perkataan membawa kasus tatabahasanya (i’rab), yang bergantung pada sintaksis. Kertas-kertas melaporkan kedua-dua tetapan, kerana baris akhir kata menyebabkan banyak ralat.
-   **Mengira huruf tanpa diakritik.** Sesetengah skrip mengira huruf tanpa baris (seperti alef dalam الطالب) sebagai ramalan “tiada diakritik” yang betul; sesetengahnya melangkaunya. Skrip pemarkahan Fadel mempunyai bendera untuk ini.

Skrip yang diterbitkan berbeza dalam pilihan ini, jadi bandingkan hanya angka yang dihasilkan oleh skrip yang sama. Skrip ini cukup pendek untuk dibaca:

```python
import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
```

Ramalan contoh mempunyai dua baris akhir kata yang salah dan satu vokal dalaman yang salah merentas 32 huruf dan 7 perkataan. Ia mencetak DER 9.38 dan WER 42.86 dengan baris akhir kata, dan DER 4.0 dan WER 14.29 tanpanya. Perhatikan bagaimana WER membesarkan beberapa ralat: satu tanda yang salah merosakkan seluruh perkataan.

Skrip ini enggan memarkahkan perkataan yang hurufnya telah berubah. Itu disengajakan. Pemberi baris yang menyunting huruf telah gagal dalam tugasnya, dan DER-nya tidak bermakna.

Sebagai semakan kedua, kami menjalankan Mishkal 0.4.1, pemberi baris berasaskan peraturan, pada satu ayat 16 perkataan yang kami beri baris secara manual. Kesemua empat ralatnya ialah baris akhir kata, seperti مُحَمَّدُ untuk مُحَمَّدٌ. Ia mencatat DER 5.88 dengan baris akhir kata dan 0.0 tanpanya. Satu ayat tidak membuktikan apa-apa tentang Mishkal; ia menunjukkan mengapa anda melaporkan kedua-dua tetapan.

Untuk membina set ujian, ambil 100 hingga 200 ayat daripada teks anda sendiri, minta penutur asli memberi baris, buang tanda-tanda itu, dan jalankan setiap calon. Simpan versi manusia sebagai rujukan emas.

## Bilakah pemberi baris khusus mengatasi LLM?

| Pilih | Bila |
| --- | --- |
| Model khusus (CATT, libtashkeel, Mishkal) | Volum tinggi, jenis teks tetap, kependaman ketat, penggunaan luar talian atau pada peranti, atau keperluan output huruf demi huruf secara reka bentuk |
| LLM melalui API | Volum rendah atau tidak sekata, input bercampur atau bersepah, pasukan tanpa ML ops, atau saluran yang sudah memanggil LLM untuk langkah lain |

Model khusus meramalkan satu tanda bagi setiap huruf, jadi ia tidak boleh menulis semula teks anda. [CATT](https://github.com/abjadai/catt) berlesen Apache 2.0 dan dipasang dengan `pip install catt-tashkeel`; README-nya mengesyorkan model pengekod sahaja untuk kelajuan dan pengekod-penyahkod untuk ketepatan. [libtashkeel](https://github.com/mush42/libtashkeel) berlesen MIT dan dilatih terutamanya pada MSA. [Mishkal](https://pypi.org/project/mishkal/) berasaskan peraturan dan berlesen GPL, yang penting jika anda menghantarnya di dalam produk.

LLM lebih cepat untuk bermula dan mampu mengendalikan input yang tidak pernah dilihat oleh model terlatih: dialek, campuran bahasa Arab dan Inggeris, tanda baca yang pelik. Ia memerlukan semakan rangka di atas pada setiap balasan, dan kosnya dikira setiap token.

## Berapakah kos pemberian baris dengan LLM?

Diakritik ialah aksara tambahan, dan tokenizer memecahkannya kepada token tambahan. Kami mengira set ujian Fadel 2,500 baris (125,098 perkataan) dengan tokenizer setiap model sendiri, teks tanpa baris berbanding teks berbaris penuh:

| Tokenizer | Teks tanpa baris | Berbaris | Nisbah |
| --- | --- | --- | --- |
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |

Anda membayar token input untuk teks tanpa baris dan token output untuk balasan berbaris, ditambah sebarang penaakulan. Output ialah bahagian yang mahal: $2.17 setiap sejuta token pada [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/), $0.52 pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/), $3.46 pada [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) dan $0.22 pada [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/), daripada halaman harga BroadNet. Cubaan semula selepas semakan gagal menambah lagi. Tampal teks anda sendiri ke dalam [pengira token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) untuk menyemak nisbah pada data anda, dan lihat [token setiap perkataan dalam bahasa Arab dan Inggeris](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) untuk sebab bahasa Arab memerlukan lebih banyak token sejak awal.

Untuk kerja sekali sahaja ke atas arkib besar, pelan DeepSeek V4.1 Flash menggantikan meter dengan harga rata setiap sesi ($15 seminggu atau $1 sejam); setiap sesi menjalankan satu permintaan pada satu masa, jadi rancang larian seperti dalam [pemprosesan kelompok tanpa API kelompok](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/).

## Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference menyediakan empat model chat di atas melalui satu endpoint serasi OpenAI, jadi kod ini berjalan dengan [OpenAI Python SDK](https://broadrouter.com/ms/guides/openai-python-sdk/) sebaik sahaja base URL dan kunci ditetapkan. Gemma 4 VL 26B berjalan pada kredit permulaan $5; DeepSeek, GLM dan Qwen memerlukan tambah nilai. BroadNet tiada endpoint pemberian baris, tidak menerbitkan penanda aras pemberian baris sendiri dan tiada text-to-speech. Model mana yang paling baik memberi baris pada teks anda belum diukur: skor model-model itu pada sampel anda sendiri sebelum memilih. Lihat [rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-diacritization-llm&utm_content=body) untuk butiran permintaan.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Kadar ralat perkataan (word error rate, WER)](https://broadrouter.com/ms/glossary/word-error-rate/)

Kadar ralat perkataan (WER) ialah ukuran ketepatan standard untuk pengecaman pertuturan: bilangan penggantian, pemadaman dan penyisipan perkataan yang diperlukan untuk menukar transkrip kepada rujukan yang betul, dibahagi dengan bilangan perkataan dalam rujukan. Lebih rendah lebih baik.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Bahasa Arab Standard Moden (MSA)](https://broadrouter.com/ms/glossary/msa/)

Bahasa Arab Standard Moden (MSA) ialah bentuk bahasa Arab yang diseragamkan untuk penulisan, berita, pendidikan dan pertuturan rasmi di seluruh dunia Arab. Ia bukan bahasa harian asli sesiapa: orang bertutur dalam dialek serantau seperti bahasa Arab Mesir atau Teluk dan beralih kepada MSA dalam situasi rasmi.

[Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/)

Tokenizer ialah komponen yang menukar teks kepada jujukan ID token integer yang dibaca oleh model bahasa, dan menukar ID yang dijana kembali kepada teks. Setiap model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan bilangan token yang berbeza pada model yang berbeza.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[API kelompok (batch API)](https://broadrouter.com/ms/glossary/batch-api/)

Batch API ialah endpoint LLM tak segerak yang menerima banyak permintaan sekali gus, biasanya sebagai fail, memprosesnya dalam tempoh yang ditetapkan dan bukan serta-merta, dan memulangkan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic mengenakan harga diskaun untuk permintaan kelompok berbanding API standard mereka.

[Hamzah (hamza)](https://broadrouter.com/ms/glossary/hamza/)

Hamzah (ء) ialah huruf bahasa Arab bagi hentian glotis. Ia ditulis sendirian atau di atas kerusi: alif (أ إ), wau (ؤ) atau ya (ئ), manakala آ menggabungkan alif dengan madd. Oleh sebab teks yang ditaip tidak konsisten, enjin carian dan pemarkahan pertuturan sering menyatukan bentuk alif kepada ا.

## Soalan lazim

### Bagaimanakah saya menambah baris pada teks Arab dalam Python?

Dua cara. Pasang pemberi baris khusus seperti catt-tashkeel (Apache 2.0) atau mishkal (GPL) dan jalankannya secara setempat, atau hantar teks kepada LLM dengan prompt yang meminta tashkeel sahaja. Dengan LLM, sentiasa semak bahawa balasan tanpa diakritiknya sama dengan input anda.

### Adakah ChatGPT atau GPT-4 bagus dalam memberi baris teks Arab?

Hampir dengan sistem khusus terbaik dalam sesetengah ujian, di belakangnya dalam ujian lain. Kertas CATT mengukur GPT-4 pada 9.515% DER dengan baris akhir kata pada penanda aras beritanya, berbanding 8.624% bagi modelnya sendiri. Satu lagi kertas 2024 melaporkan kira-kira 20% DER bagi GPT-4 pada penanda aras Fadel. Uji pada teks anda sendiri.

### Apakah perbezaan antara DER dan WER untuk pemberian baris?

DER ialah bahagian huruf yang diakritiknya salah. WER ialah bahagian perkataan yang mempunyai sekurang-kurangnya satu diakritik salah, jadi ia sentiasa lebih tinggi. Kedua-duanya dilaporkan dengan baris akhir kata (huruf terakhir setiap perkataan) dan tanpanya.

### Mengapakah LLM saya mengubah huruf semasa menambah tashkeel?

Ia turut membetulkan ejaan: الى menjadi إلى, ى menjadi ي, hamzah yang tiada muncul. Itu mungkin betul, tetapi itu pembetulan, bukan pemberian baris, dan ia merosakkan pemarkahan huruf demi huruf. Minta model tidak berbuat demikian, semak setiap balasan, dan jalankan pembetulan ejaan sebagai langkah berasingan jika anda mahukannya.

### Bolehkah BroadNet membacakan teks berbaris itu dengan suara?

Tidak. BroadNet Inference tiada endpoint text-to-speech. Ia menawarkan model chat dan speech-to-text. Jika pemberian baris ialah bahagian hadapan saluran TTS, hantar hasilnya ke perkhidmatan TTS yang berasingan.

## Teruskan membaca

-   [Penormalan teks Arab untuk carian dan RAG: apa diubah, apa tidak](https://broadrouter.com/ms/blog/arabic-text-normalization-search/)
-   [Kejuruteraan prompt bahasa Arab: laras, RTL, angka dan teks bercampur](https://broadrouter.com/ms/blog/arabic-prompt-engineering/)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/)
-   [Pengekstrakan entiti bernama bahasa Arab dengan LLM: JSON dan tarikh](https://broadrouter.com/ms/blog/arabic-named-entity-extraction-llm/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/)
-   [Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/)
-   [Pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM: panduan](https://broadrouter.com/ms/blog/arabic-grammar-spelling-correction-llm/)
-   [Minit mesyuarat bahasa Arab daripada rakaman: saluran API](https://broadrouter.com/ms/blog/arabic-meeting-minutes-from-recordings/)
-   [Perbandingan API OCR Arab: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/ms/blog/arabic-ocr-api-comparison/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-diacritization-llm&utm_content=page-cta) ·

**Sumber**

-   [Alasmary, Zaafarani dan Ghannam, CATT: Character-based Arabic Tashkeel Transformer (arXiv 2407.03236v3), Jadual 4 dan 5, saiz set data, had input 1,024 aksara (disemak 2026-11-15)](https://arxiv.org/html/2407.03236v3)
-   [abjadai/catt di GitHub: lesen Apache 2.0, pakej pip catt-tashkeel, model pengekod sahaja vs pengekod-penyahkod (disemak 2026-11-15)](https://github.com/abjadai/catt)
-   [Fadel et al., Arabic Text Diacritization Using Deep Neural Networks (arXiv 1905.01965): 55K baris, kira-kira 2.3J perkataan daripada Tashkeela (disemak 2026-11-15)](https://arxiv.org/abs/1905.01965)
-   [AliOsm/arabic-text-diacritization di GitHub: pembahagian 50,000 / 2,500 / 2,500 baris, lesen MIT, diacritization\_stat.py (disemak 2026-11-15)](https://github.com/AliOsm/arabic-text-diacritization)
-   [Zerrouki dan Balla, Tashkeela: Novel corpus of Arabic vocalized texts, Data in Brief 2017: 75,629,921 perkataan, 97 buku, 98.85% klasik (disemak 2026-11-15)](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/)
-   [Skiredj dan Berrada, Arabic Text Diacritization in the Age of Transfer Learning (arXiv 2401.04848): melaporkan GPT-4 pada kira-kira 20% DER dan 30% WER pada penanda aras Fadel (disemak 2026-11-15)](https://arxiv.org/html/2401.04848v1)
-   [Mishkal di PyPI: versi 0.4.1, GPL, penggunaan TashkeelClass (disemak 2026-11-15)](https://pypi.org/project/mishkal/)
-   [mush42/libtashkeel di GitHub: pustaka pemulihan diakritik, lesen MIT, model dilatih terutamanya pada MSA (disemak 2026-11-15)](https://github.com/mush42/libtashkeel)
-   [Rujukan API BroadNet Inference: ID model, penaakulan dikira dalam max\_tokens, reasoning\_effort, endpoint (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-diacritization-llm&utm_content=sources)
