---
title: "Menambahkan harakat (tasykil) ke teks Arab dengan LLM"
description: "Pulihkan harakat Arab (tasykil) dengan API LLM: prompt yang menjaga setiap huruf, cek yang menolak perubahan, skor DER dan WER, serta kapan memakai CATT."
url: https://broadrouter.com/id/blog/arabic-diacritization-llm/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/arabic-diacritization-llm/) (diperbarui 2026-11-16).

# Menambahkan harakat ke teks Arab dengan LLM: prompt, cek, DER

Oleh tim BroadNet Inference · 8 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Minta model memberi tasykil lengkap dan tidak lebih, lalu hapus harakat dari balasannya dan bandingkan dengan input Anda. Satu huruf saja berubah berarti tolak dan ulangi. Beri skor pada sampel yang dicek manual dengan diacritic error rate (DER) dan word error rate (WER), dengan dan tanpa harakat akhir (i'rab). Hasil yang dipublikasikan menempatkan GPT-4 dekat, tetapi di bawah, diacritizer khusus terbaik.

## Poin penting

-   Satu aturan yang membuat pemberian harakat dengan LLM aman: balasan yang harakatnya dihapus harus sama persis dengan input. Jika tidak, model telah mengubah huruf, dan Anda menolaknya.
-   Pada benchmark CATT (742 kalimat berita), model encoder-decoder CATT mencetak DER 8,624% dengan harakat akhir, dibanding 9,515% untuk GPT-4 dan 16,482% untuk Mishkal (paper CATT, 2024).
-   Harakat akhir (i'rab) adalah bagian tersulit. Setiap tabel yang dipublikasikan melaporkan DER dan WER dengan dan tanpa harakat akhir, dan selisihnya besar. Laporkan keduanya untuk tes Anda sendiri.
-   Teks berharakat memakan lebih banyak token. Pada set tes Fadel berisi 2.500 baris, tasykil lengkap memakan 2,07 hingga 3,21 kali token teks polos di empat tokenizer model yang kami jalankan.
-   Untuk volume tinggi dan jenis teks yang tetap, diacritizer open-source khusus seperti CATT (Apache 2.0) lebih murah dan menjaga huruf secara desain. LLM lebih mudah untuk memulai dan sanggup menangani input yang tidak biasa.

**Di halaman ini**

1.  Kapan Anda membutuhkan harakat?
2.  Seberapa bagus LLM dalam memberi harakat?
3.  Set tes apa saja yang ada?
4.  Prompt apa yang menjaga huruf tetap utuh?
5.  Bagaimana memberi skor pada pemberian harakat: DER dan WER?
6.  Kapan diacritizer khusus mengalahkan LLM?
7.  Berapa biaya pemberian harakat dengan LLM?
8.  Di mana posisi BroadNet Inference?

Bahasa Arab biasanya ditulis tanpa vokal pendek. Pembaca mengisinya dari konteks; perangkat lunak sering kali tidak bisa. Memulihkannya, yang disebut diakritisasi atau tasykil, mengubah كتب menjadi كَتَبَ (ia menulis), كُتُبٌ (buku-buku), atau كُتِبَ (telah ditulis), tergantung kalimatnya. Artikel ini menunjukkan cara melakukannya dengan LLM lewat API yang kompatibel dengan OpenAI, cara mencegah model diam-diam mengubah teks Anda, dan cara mengukur hasilnya terhadap diacritizer khusus.

## Kapan Anda membutuhkan harakat?

-   **Text-to-speech.** Suara sintetis membutuhkan vokal untuk mengucapkan sebuah kata. Paper CATT menyebut text-to-speech dan terjemahan mesin sebagai aplikasi yang terbantu oleh harakat. BroadNet Inference tidak punya endpoint text-to-speech, jadi dalam pipeline TTS teks berharakat dikirim ke layanan TTS terpisah.
-   **Pelajar dan materi anak-anak.** Pembaca yang masih belajar bergantung pada tanda-tanda ini.
-   **Nama dan istilah yang ambigu.** Nama diri, kata langka, dan istilah teknis yang maknanya berubah jika vokalnya salah.
-   **Teks keagamaan dan klasik.** Di sini tanda-tanda itu adalah bagian dari teks, dan alat otomatis hanya boleh mengisi celah di bawah tinjauan manusia.

Untuk pencarian atau retrieval, biasanya Anda tidak menginginkan harakat. Di sana Anda justru menghapusnya, seperti dalam [normalisasi teks Arab untuk pencarian](https://broadrouter.com/id/blog/arabic-text-normalization-search/). [Normalizer teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/) gratis melakukan penghapusan itu di browser. Pemberian harakat adalah operasi kebalikannya, dan jauh lebih sulit: menghapus tanda hanyalah pencarian tabel, sedangkan menambahkannya membutuhkan tata bahasa dan konteks.

## Seberapa bagus LLM dalam memberi harakat?

Dua angka yang dipublikasikan, dibaca dengan hati-hati:

| Sistem | Benchmark CATT, DER dengan harakat akhir | DER tanpa | WER dengan harakat akhir | WER tanpa |
| --- | --- | --- | --- | --- |
| CATT encoder-decoder | 8,624% | 6,989% | 34,191% | 28,477% |
| CATT encoder-only | 8,762% | 7,088% | 35,508% | 29,714% |
| GPT-4 (GPT-4-turbo menurut teks paper) | 9,515% | 8,113% | 38,311% | 33,505% |
| Command R+ | 13,169% | 11,329% | 48,518% | 44,158% |
| Shakkala | 13,494% | 10,386% | 50,387% | 40,643% |
| Mishkal | 16,482% | 10,796% | 60,844% | 40,215% |

Sumber: Tabel 4 [paper CATT](https://arxiv.org/html/2407.03236v3) (2024). Makin rendah makin baik. Benchmark-nya berisi 742 kalimat berita yang dikumpulkan pada 2023, diberi harakat oleh dua pakar penutur asli, dan dicek oleh pakar ketiga.

Pada set tes kedua di paper itu, WikiNews (400 kalimat), GPT-4 jauh mengungguli semua yang lain: 0,551% DER. Penulisnya menandai baris tersebut dan menduga model itu mungkin sudah melihat WikiNews saat pelatihan. Itulah peringatan umum untuk benchmark LLM: teks tes publik bisa jadi ada di data pelatihan. Penulis CATT menyampaikan kekhawatiran yang sama tentang Tashkeela, yang buku-bukunya banyak memuat kutipan Al-Qur’an dan hadis.

Paper terpisah tahun 2024 oleh Skiredj dan Berrada melaporkan GPT-4 di sekitar 20% DER dan 30% WER pada benchmark Fadel dkk., tanpa detail yang kami perlukan untuk membandingkannya dengan tabel di atas.

Jadi model kelas GPT-4 bisa mendekati diacritizer khusus, tetapi juga bisa tertinggal. Kedua paper itu lebih tua daripada model terbuka yang bisa Anda panggil hari ini. Ukur pada teks Anda sendiri.

## Set tes apa saja yang ada?

| Dataset | Isinya |
| --- | --- |
| [Tashkeela](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/) | 75.629.921 kata berharakat lengkap dari 97 buku; 98,85% bahasa Arab klasik dari perpustakaan Shamela, 1,15% bahasa Arab Standar Modern |
| [Benchmark Fadel dkk.](https://github.com/AliOsm/arabic-text-diacritization) | Sekitar 2,3 juta kata yang diambil dari Tashkeela; 50.000 baris latih, 2.500 validasi, dan 2.500 tes |
| Benchmark CATT | 742 kalimat berita yang diberi harakat secara manual, dirilis bersama model CATT |
| WikiNews | 400 kalimat berita MSA yang diberi harakat secara manual |

Tashkeela dan set Fadel sebagian besar klasik. Jika teks Anda adalah bahasa Arab bisnis atau berita modern, set CATT dan WikiNews lebih dekat, dan sampel dari teks Anda sendiri adalah yang paling dekat.

## Prompt apa yang menjaga huruf tetap utuh?

Tugas model adalah menambahkan tanda dan tidak menyentuh apa pun selain itu. LLM suka membantu: ia akan membetulkan الى menjadi إلى, mengubah ى di akhir kata menjadi ي, atau menambahkan hamzah yang hilang. Masing-masing mungkin bahasa Arab yang benar, tetapi itu koreksi ejaan, bukan pemberian harakat. Teks Anda berubah tanpa pemberitahuan.

Karena itu prompt menyatakan aturannya, dan kode menegakkannya: hapus harakat dari balasan dan bandingkan dengan input yang harakatnya juga dihapus. Jika satu huruf, spasi, atau tanda baca saja berbeda, balasan ditolak.

```python
import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))
```

Kami menjalankan ini terhadap server mock lokal, bukan API live. Balasan siap pakai untuk kalimat pertama “membetulkan” الى menjadi إلى pada kedua percobaan, sedangkan balasan untuk kalimat kedua bersih. Outputnya:

```text
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
```

Catatan tentang kode:

-   **Unicode NFC lebih dulu.** Hamzah bisa datang sebagai satu karakter jadi (أ) atau sebagai huruf ditambah tanda gabung. NFC menyamakan kedua sisi sebelum dibandingkan. [Artikel normalisasi](https://broadrouter.com/id/blog/arabic-text-normalization-search/) membahas jebakan ini secara rinci.
-   **`max_tokens=4000`.** Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab, dan penalaran itu dihitung ke `max_tokens`. Batas yang terlalu kecil menghasilkan balasan kosong, yang akan ditolak oleh cek. Sisakan ruang, atau set `reasoning_effort` ke low; lihat [respons kosong dari model penalaran](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/) dan [kalkulator anggaran token penalaran](https://broadrouter.com/tools/reasoning-token-budget/).
-   **Cek ini tidak menguji aturan “pertahankan harakat yang sudah ada”.** Jika input Anda sebagian sudah berharakat, bandingkan juga tanda-tanda itu.
-   **Ejaan adalah keputusan terpisah.** Jika Anda ingin الى dikoreksi, jalankan langkah koreksi dulu, lalu beri harakat pada teks yang sudah dikoreksi. Mencampur keduanya membuat keduanya mustahil dicek.
-   **Potong teks panjang.** Kirim satu kalimat atau satu paragraf per permintaan. CATT sendiri membatasi input 1.024 karakter dan memecah kalimat panjang di tanda baca; kebiasaan yang sama membuat balasan LLM tetap pendek dan percobaan ulang tetap murah.

Untuk saran umum menulis prompt bahasa Arab, termasuk kapan memberi tahu model agar tidak menambahkan harakat, lihat [prompt engineering bahasa Arab](https://broadrouter.com/id/blog/arabic-prompt-engineering/).

## Bagaimana memberi skor pada pemberian harakat: DER dan WER?

**Diacritic error rate (DER)** adalah porsi huruf yang harakatnya berbeda dari referensi. **Word error rate (WER)** di sini adalah porsi kata yang punya setidaknya satu harakat salah. Ini bukan WER pengenalan ucapan dalam [artikel ASR kami](https://broadrouter.com/id/blog/arabic-asr-wer-explained/); yang dihitung adalah kata dengan tanda yang salah, bukan kata yang disisipkan atau dihapus.

Dua pengaturan sangat mengubah angkanya:

-   **Dengan atau tanpa harakat akhir.** Huruf terakhir sebuah kata membawa kasus gramatikalnya (i’rab), yang bergantung pada sintaksis. Paper melaporkan kedua pengaturan, karena harakat akhir menyebabkan banyak kesalahan.
-   **Menghitung huruf tanpa harakat.** Sebagian skrip menghitung huruf polos (seperti alif dalam الطالب) sebagai prediksi “tanpa harakat” yang benar; sebagian melewatinya. Skrip penilaian Fadel punya flag untuk ini.

Skrip yang dipublikasikan berbeda dalam pilihan-pilihan ini, jadi bandingkan hanya angka yang dihasilkan oleh skrip yang sama. Skrip ini cukup pendek untuk dibaca:

```python
import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
```

Prediksi contoh ini punya dua harakat akhir yang salah dan satu vokal internal yang salah dari 32 huruf dan 7 kata. Hasilnya DER 9.38 dan WER 42.86 dengan harakat akhir, serta DER 4.0 dan WER 14.29 tanpanya. Perhatikan bagaimana WER membesar-besarkan sedikit kesalahan: satu tanda yang salah merusak satu kata utuh.

Skrip ini menolak memberi skor pada kata yang hurufnya berubah. Itu disengaja. Diacritizer yang mengedit huruf telah gagal menjalankan tugasnya, dan DER-nya tidak akan bermakna.

Sebagai cek kedua, kami menjalankan Mishkal 0.4.1, diacritizer berbasis aturan, pada satu kalimat 16 kata yang kami beri harakat secara manual. Keempat kesalahannya semuanya harakat akhir, misalnya مُحَمَّدُ untuk مُحَمَّدٌ. Skornya DER 5.88 dengan harakat akhir dan 0.0 tanpanya. Satu kalimat tidak membuktikan apa pun tentang Mishkal; ini menunjukkan mengapa Anda perlu melaporkan kedua pengaturan.

Untuk membangun set tes, ambil 100 hingga 200 kalimat dari teks Anda sendiri, minta penutur asli memberinya harakat, hapus tandanya, lalu jalankan setiap kandidat. Simpan versi manusia sebagai gold.

## Kapan diacritizer khusus mengalahkan LLM?

| Pilih | Kapan |
| --- | --- |
| Model khusus (CATT, libtashkeel, Mishkal) | Volume tinggi, jenis teks tetap, latensi ketat, penggunaan offline atau on-device, atau kebutuhan output huruf-demi-huruf secara desain |
| LLM lewat API | Volume rendah atau tidak rata, input campuran atau berantakan, tim tanpa ML ops, atau pipeline yang sudah memanggil LLM untuk langkah lain |

Model khusus memprediksi satu tanda per huruf, jadi tidak bisa menulis ulang teks Anda. [CATT](https://github.com/abjadai/catt) berlisensi Apache 2.0 dan diinstal dengan `pip install catt-tashkeel`; README-nya merekomendasikan model encoder-only untuk kecepatan dan encoder-decoder untuk akurasi. [libtashkeel](https://github.com/mush42/libtashkeel) berlisensi MIT dan dilatih terutama pada MSA. [Mishkal](https://pypi.org/project/mishkal/) berbasis aturan dan berlisensi GPL, yang penting jika Anda menyertakannya di dalam produk.

LLM lebih cepat untuk memulai dan sanggup menangani input yang tidak pernah dilihat model terlatih: dialek, campuran Arab dan Inggris, tanda baca yang aneh. LLM membutuhkan cek kerangka huruf di atas pada setiap balasan, dan biayanya per token.

## Berapa biaya pemberian harakat dengan LLM?

Harakat adalah karakter tambahan, dan tokenizer memecahnya menjadi token tambahan. Kami menghitung set tes Fadel berisi 2.500 baris (125.098 kata) dengan tokenizer masing-masing model, teks polos dibandingkan teks berharakat lengkap:

| Tokenizer | Teks polos | Berharakat | Rasio |
| --- | --- | --- | --- |
| Qwen3.8 27B | 196.987 | 407.144 | 2,07× |
| DeepSeek V4.1 Flash | 222.555 | 540.454 | 2,43× |
| Gemma 4 VL 26B | 208.769 | 508.758 | 2,44× |
| GLM 5.3 | 239.753 | 770.361 | 3,21× |

Anda membayar token input untuk teks polos dan token output untuk balasan berharakat, ditambah penalaran jika ada. Output adalah sisi yang mahal: $2.17 per juta token di [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/), $0.52 di [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/), $3.46 di [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/), dan $0.22 di [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), menurut halaman harga BroadNet. Percobaan ulang setelah cek gagal menambah biaya. Tempel teks Anda ke [penghitung token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) untuk mengecek rasionya pada data Anda, dan lihat [token per kata dalam bahasa Arab dan Inggris](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/) untuk alasan bahasa Arab memang butuh lebih banyak token sejak awal.

Untuk pekerjaan sekali jalan atas arsip besar, paket DeepSeek V4.1 Flash mengganti meteran dengan harga tetap per sesi ($15 per minggu atau $1 per jam); setiap sesi menjalankan satu permintaan sekaligus, jadi rencanakan pekerjaannya seperti dalam [pemrosesan batch tanpa batch API](https://broadrouter.com/id/blog/llm-batch-processing-without-batch-api/).

## Di mana posisi BroadNet Inference?

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference menyajikan empat model chat di atas lewat satu endpoint yang kompatibel dengan OpenAI, jadi kodenya berjalan dengan [OpenAI Python SDK](https://broadrouter.com/id/guides/openai-python-sdk/) setelah base URL dan kunci diatur. Gemma 4 VL 26B bisa dipakai dengan kredit awal $5; DeepSeek, GLM, dan Qwen memerlukan top up. BroadNet tidak punya endpoint pemberian harakat, tidak menerbitkan benchmark pemberian harakat sendiri, dan tidak punya text-to-speech. Model mana yang paling baik memberi harakat pada teks Anda belum diukur: beri skor pada sampel Anda sendiri sebelum memilih. Lihat [referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-diacritization-llm&utm_content=body) untuk detail permintaan.

Alat gratis untuk topik ini (bahasa Inggris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

[Word error rate (WER)](https://broadrouter.com/id/glossary/word-error-rate/)

Word error rate (WER) adalah ukuran akurasi standar untuk pengenalan ucapan: jumlah substitusi, penghapusan, dan penyisipan kata yang dibutuhkan untuk mengubah transkrip menjadi referensi yang benar, dibagi jumlah kata dalam referensi. Makin rendah makin baik.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Text-to-speech (TTS)](https://broadrouter.com/id/glossary/text-to-speech/)

Text-to-speech (TTS), atau sintesis ucapan, mengubah teks tertulis menjadi audio ucapan. API TTS menerima teks, sebuah suara, dan format output seperti MP3 atau WAV, lalu mengembalikan ucapan yang dihasilkan. TTS adalah kebalikan dari speech-to-text, yang mengubah audio menjadi teks.

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[Batch API](https://broadrouter.com/id/glossary/batch-api/)

Batch API adalah endpoint LLM asinkron yang menerima banyak request sekaligus, biasanya sebagai file, memprosesnya dalam jangka waktu tertentu alih-alih seketika, lalu mengembalikan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic memberi harga request batch dengan diskon dibanding API standar mereka.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

## Pertanyaan umum

### Bagaimana cara menambahkan harakat ke teks Arab di Python?

Ada dua jalan. Instal diacritizer khusus seperti catt-tashkeel (Apache 2.0) atau mishkal (GPL) dan panggil secara lokal, atau kirim teks ke LLM dengan prompt yang hanya meminta tasykil. Jika memakai LLM, selalu cek bahwa balasan tanpa harakatnya sama dengan input Anda.

### Apakah ChatGPT atau GPT-4 bagus untuk memberi harakat bahasa Arab?

Mendekati sistem khusus terbaik pada sebagian tes, tertinggal pada tes lain. Paper CATT mengukur GPT-4 di 9,515% DER dengan harakat akhir pada benchmark beritanya, dibanding 8,624% untuk modelnya sendiri. Paper lain tahun 2024 melaporkan sekitar 20% DER untuk GPT-4 pada benchmark Fadel. Uji pada teks Anda sendiri.

### Apa beda DER dan WER untuk pemberian harakat?

DER adalah porsi huruf yang harakatnya salah. WER adalah porsi kata yang punya setidaknya satu harakat salah, jadi nilainya selalu lebih tinggi. Keduanya dilaporkan dengan harakat akhir (huruf terakhir setiap kata) dan tanpanya.

### Mengapa LLM saya mengubah huruf saat menambahkan tasykil?

Model itu juga membetulkan ejaan: الى menjadi إلى, ى menjadi ي, hamzah yang hilang muncul. Itu mungkin benar, tetapi itu koreksi, bukan pemberian harakat, dan merusak penilaian huruf demi huruf. Minta model untuk tidak melakukannya, cek setiap balasan, dan jalankan koreksi ejaan sebagai langkah terpisah jika Anda menginginkannya.

### Bisakah BroadNet membacakan teks berharakat dengan suara?

Tidak. BroadNet Inference tidak punya endpoint text-to-speech. Yang tersedia adalah model chat dan speech-to-text. Jika pemberian harakat adalah tahap awal pipeline TTS, kirim hasilnya ke layanan TTS terpisah.

## Baca juga

-   [Normalisasi teks Arab untuk pencarian dan RAG: apa yang perlu diubah](https://broadrouter.com/id/blog/arabic-text-normalization-search/)
-   [Prompt engineering bahasa Arab: register, RTL, angka, teks campuran](https://broadrouter.com/id/blog/arabic-prompt-engineering/)
-   [Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/)
-   [Ekstraksi entitas bernama bahasa Arab dengan LLM: JSON, tanggal, cek](https://broadrouter.com/id/blog/arabic-named-entity-extraction-llm/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/)
-   [Batch processing LLM tanpa Batch API: runner yang bisa dilanjutkan](https://broadrouter.com/id/blog/llm-batch-processing-without-batch-api/)
-   [Koreksi tata bahasa dan ejaan Arab dengan LLM: panduan praktis](https://broadrouter.com/id/blog/arabic-grammar-spelling-correction-llm/)
-   [Notulen rapat bahasa Arab dari rekaman: pipeline berbasis API](https://broadrouter.com/id/blog/arabic-meeting-minutes-from-recordings/)
-   [Perbandingan API OCR Arab: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/id/blog/arabic-ocr-api-comparison/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-diacritization-llm&utm_content=page-cta) ·

**Sumber**

-   [Alasmary, Zaafarani, dan Ghannam, CATT: Character-based Arabic Tashkeel Transformer (arXiv 2407.03236v3), Tabel 4 dan 5, ukuran dataset, batas input 1.024 karakter (dicek 2026-11-15)](https://arxiv.org/html/2407.03236v3)
-   [abjadai/catt di GitHub: lisensi Apache 2.0, paket pip catt-tashkeel, model encoder-only vs encoder-decoder (dicek 2026-11-15)](https://github.com/abjadai/catt)
-   [Fadel dkk., Arabic Text Diacritization Using Deep Neural Networks (arXiv 1905.01965): 55 ribu baris, sekitar 2,3 juta kata dari Tashkeela (dicek 2026-11-15)](https://arxiv.org/abs/1905.01965)
-   [AliOsm/arabic-text-diacritization di GitHub: pembagian 50.000 / 2.500 / 2.500 baris, lisensi MIT, diacritization\_stat.py (dicek 2026-11-15)](https://github.com/AliOsm/arabic-text-diacritization)
-   [Zerrouki dan Balla, Tashkeela: Novel corpus of Arabic vocalized texts, Data in Brief 2017: 75.629.921 kata, 97 buku, 98,85% klasik (dicek 2026-11-15)](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/)
-   [Skiredj dan Berrada, Arabic Text Diacritization in the Age of Transfer Learning (arXiv 2401.04848): melaporkan GPT-4 sekitar 20% DER dan 30% WER pada benchmark Fadel (dicek 2026-11-15)](https://arxiv.org/html/2401.04848v1)
-   [Mishkal di PyPI: versi 0.4.1, GPL, penggunaan TashkeelClass (dicek 2026-11-15)](https://pypi.org/project/mishkal/)
-   [mush42/libtashkeel di GitHub: library pemulihan harakat, lisensi MIT, model dilatih terutama pada MSA (dicek 2026-11-15)](https://github.com/mush42/libtashkeel)
-   [Referensi API BroadNet Inference: ID model, penalaran dihitung ke max\_tokens, reasoning\_effort, endpoint (dicek 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-diacritization-llm&utm_content=sources)
