Tiga huruf Arab yang sama bisa berarti “dia menulis”, “buku-buku”, atau “telah ditulis”. Harakatlah yang membedakannya, dan sebagian besar teks tidak menuliskannya.
Cara kerjanya
Unicode Standard menyebut tanda-tanda ini tashkil dan mengatakan bahwa tanda itu “may be written as combining marks” (terjemahan: dapat ditulis sebagai combining mark), lalu menambahkan: “In normal writing, however, these marks are omitted.” (terjemahan: Namun, dalam tulisan biasa, tanda-tanda ini dihilangkan.) Harakat adalah nama untuk subset vokal pendek. Setiap tanda adalah karakter penggabung tersendiri yang mengikuti huruf tempatnya berada. Tanda utama ada di rentang U+064B sampai U+0652:
| Code point | Nama | Fungsi |
|---|---|---|
| U+064E | FATHA | a pendek (fathah) |
| U+064F | DAMMA | u pendek (dammah) |
| U+0650 | KASRA | i pendek (kasrah) |
| U+064B sampai U+064D | FATHATAN, DAMMATAN, KASRATAN | tanwin (akhiran -an, -un, -in) |
| U+0651 | SHADDA | konsonan ganda (syaddah) |
| U+0652 | SUKUN | tanpa vokal (sukun) |
Contoh dengan kata polos كتب:
- كَتَبَ (kataba), “dia menulis”
- كُتُب (kutub), “buku-buku”
- كُتِبَ (kutiba), “telah ditulis”
Tanpa tanda, ketiganya adalah string yang sama. Pembaca memilih maknanya dari kalimat. Perangkat lunak harus melakukan hal yang sama, dan itulah tugas diacritizer (pemberi harakat otomatis). Zerrouki dan Balla (2017) membangun korpus Tashkeela, sekitar 75,6 juta kata yang sebagian besar bahasa Arab Klasik, karena teks berharakat lengkap langka dan diacritizer membutuhkannya untuk pelatihan. Fadel dkk. (2019) melaporkan model diakritisasi neural yang menyamai atau melampaui penelitian sebelumnya pada benchmark publik, dan menunjukkan bahwa harakat dapat membantu terjemahan mesin.
Pustaka memperlakukan tanda-tanda ini sebagai satu himpunan. AR_DIAC_CHARSET di CAMeL Tools berisi U+064B sampai U+0652 ditambah U+0670 (alif kecil di atas), dan fungsi dediac_ar menghapusnya.
Kenapa ini penting
- Pencarian dan pencocokan. Kata yang sama yang diketik dengan dan tanpa tanda adalah string yang berbeda. Hapus tanda dari kunci pencarian sebagai bagian dari normalisasi teks Arab, atau pencocokan persis akan gagal.
- Token. Setiap tanda adalah karakter tambahan bagi tokenizer. Teks berharakat lengkap memakai token jauh lebih banyak daripada teks polos; lihat panduan diakritisasi untuk rasio yang terukur dan token per kata bahasa Arab untuk angka dasarnya.
- Ucapan dan evaluasi. Transkrip biasanya kembali tanpa tanda. Hitung word error rate setelah menghapus harakat dari kedua teks, atau kata yang benar dengan fathah tambahan akan dihitung sebagai kesalahan.
- Kapan Anda membutuhkannya. Text-to-speech, pengajaran bahasa, teks Al-Qur’an dan puisi, serta nama yang ambigu tanpa vokal.
Di BroadNet Inference
BroadNet tidak punya endpoint diakritisasi. Model chat menerima tashkeel sebagai teks biasa melalui POST /v1/chat/completions, jadi Anda bisa meminta model seperti Qwen3.8 27B untuk menambahkan atau menghapus tanda. Pola yang aman adalah memeriksa balasan di kode: hapus harakat lalu bandingkan dengan input Anda, huruf demi huruf. Artikel diakritisasi dengan LLM berisi prompt dan pemeriksaannya.
Untuk menghapus, jangan pakai model sama sekali. Regex pendek atas U+064B sampai U+0652 lebih cepat, gratis, dan tepat. Normalizer teks Arab menunjukkan efeknya di browser.