Hamzah adalah tanda kecil yang paling sering membedakan ejaan bahasa Arab yang benar dari ejaan yang umum dipakai. أحمد dan احمد adalah nama yang sama bagi pembaca, tetapi string yang berbeda bagi komputer.
Cara kerjanya
Unicode Standard menyatakan “the hamza may occur above or below other letters” (terjemahan: hamzah dapat muncul di atas atau di bawah huruf lain), dan mencantumkan alif, wawu, dan ya sebagai dudukan. Setiap bentuk berdudukan dikodekan sebagai satu karakter prakomposisi:
| Karakter | Code point | Nama Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode juga mendefinisikan dekomposisi: أ, ؤ, dan ئ masing-masing ekuivalen secara kanonis dengan huruf dasarnya diikuti U+0654 ARABIC HAMZA ABOVE. Jadi أ yang tampak sama bisa datang sebagai satu atau dua code point. Normalisasi Unicode ke NFC atau NFKC mengubah ا + U+0654 kembali menjadi satu karakter U+0623, itulah sebabnya normalisasi ini harus dijalankan sebelum aturan hamzah apa pun.
Teks ketikan tidak selalu menulis hamzah, sehingga kata yang sama bisa muncul dengan أ, إ, آ, atau ا polos. Variasi inilah yang menjadi sasaran normalisasi. normalize_alef_ar di CAMeL Tools memetakan إ أ ٱ آ menjadi ا. ArabicNormalizer di Lucene menormalisasi “hamza with alef seat to a bare alef” (terjemahan: hamzah berdudukan alif menjadi alif polos).
Mengapa penting
- Pencarian. Pengguna mengetik اسلام dan dokumen Anda berisi إسلام. Tanpa aturan alif, pencarian kata kunci melewatkannya. Lihat normalisasi teks bahasa Arab.
- Penilaian ucapan. Open Universal Arabic ASR Leaderboard menghitung WER setelah “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (terjemahan: menghapus semua tanda baca serta harakat, dan menormalisasi karakter yang memiliki hamzah dan madd). Jika Anda menghitung word error rate sendiri tanpa langkah yang sama, transkrip yang benar tetapi tanpa hamzah akan dihitung salah, dan angka Anda tidak bisa dibandingkan dengan angka leaderboard.
- Konsekuensinya. Melebur hamzah menggabungkan kata-kata yang hanya berbeda pada hamzah. Kata kerja سأل (ia bertanya) dan سال (ia mengalir) sama-sama menjadi سال. Partikel إن dan أن sama-sama menjadi ان. Untuk sebagian besar pencarian ini bisa diterima; untuk koreksi ejaan atau teks hukum tidak.
Di BroadNet Inference
API BroadNet meneruskan teks tanpa mengubahnya; penanganan hamzah terjadi di kode Anda. Transkrip dari BroadNet Transcribe Arabic adalah teks Arab biasa, jadi terapkan satu normalisasi yang sama pada referensi dan transkrip sebelum menilai. Kirim language=ar, sesuai saran dokumentasi BroadNet. Panduan speech-to-text bahasa Arab berisi contoh request-nya.
Untuk memperbaiki hamzah di teks pengguna, model chat bisa membantu; artikel koreksi ejaan menunjukkan cara memeriksa bahwa hanya karakter yang dimaksud yang berubah. Untuk melihat efek peleburan pada string Anda, coba normalizer teks bahasa Arab.