BroadRouter
Mulakan

Hamzah (hamza)

Dikemas kini

Hamzah (ء) ialah huruf bahasa Arab bagi hentian glotis. Ia ditulis sendirian atau di atas kerusi: alif (أ إ), wau (ؤ) atau ya (ئ), manakala آ menggabungkan alif dengan madd. Oleh sebab teks yang ditaip tidak konsisten, enjin carian dan pemarkahan pertuturan sering menyatukan bentuk alif kepada ا.

Juga dikenali sebagai: hamzah, hamza, penormalan hamzah, bentuk hamzah, hamza normalization, hamza forms

Hamzah ialah tanda kecil yang paling kerap membezakan ejaan bahasa Arab yang betul daripada ejaan yang lazim. أحمد dan احمد ialah nama yang sama bagi pembaca tetapi rentetan yang berbeza bagi komputer.

Cara ia berfungsi

Unicode Standard menyatakan “the hamza may occur above or below other letters” (Terjemahan BroadRouter: “hamzah boleh muncul di atas atau di bawah huruf lain”), dan menyenaraikan alif, wau dan ya sebagai kerusi. Setiap bentuk berkerusi dikodkan sebagai satu aksara pragubah (precomposed):

Aksara Titik kod Nama Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode juga mentakrifkan penguraian: أ, ؤ dan ئ masing-masing setara secara kanonik dengan huruf asas diikuti U+0654 ARABIC HAMZA ABOVE. Jadi أ yang kelihatan sama boleh tiba sebagai satu atau dua titik kod. Penormalan Unicode kepada NFC atau NFKC menukar ا + U+0654 kembali kepada U+0623 tunggal, sebab itulah ia perlu dijalankan sebelum sebarang peraturan hamzah.

Teks yang ditaip tidak selalu menulis hamzah, jadi perkataan yang sama boleh muncul dengan أ, إ, آ atau ا tanpa hamzah. Itulah variasi yang disasarkan oleh penormalan. normalize_alef_ar dalam CAMeL Tools memetakan إ أ ٱ آ kepada ا. ArabicNormalizer dalam Lucene menormalkan “hamza with alef seat to a bare alef” (Terjemahan BroadRouter: “hamzah berkerusi alif kepada alif tanpa hamzah”).

Mengapa ia penting

  • Carian. Pengguna menaip اسلام dan dokumen anda mengandungi إسلام. Tanpa peraturan alif, carian kata kunci terlepas padanan itu. Lihat penormalan teks Arab.
  • Pemarkahan pertuturan. Open Universal Arabic ASR Leaderboard mengira WER selepas “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (Terjemahan BroadRouter: “membuang semua tanda baca serta baris, dan menormalkan aksara yang mempunyai hamzah dan madd”). Jika anda mengira kadar ralat perkataan sendiri tanpa langkah yang sama, transkrip betul yang tertinggal hamzah dikira salah, dan angka anda tidak dapat dibandingkan dengan leaderboard itu.
  • Kosnya. Menyatukan hamzah menggabungkan perkataan yang berbeza hanya pada hamzah. Kata kerja سأل (dia bertanya) dan سال (ia mengalir) kedua-duanya menjadi سال. Partikel إن dan أن kedua-duanya menjadi ان. Untuk kebanyakan carian ini boleh diterima; untuk pembetulan ejaan atau teks undang-undang, tidak.

Di BroadNet Inference

API BroadNet menghantar teks tanpa perubahan; pengendalian hamzah berlaku dalam kod anda. Transkrip daripada BroadNet Transcribe Arabic ialah teks Arab biasa, jadi gunakan satu penormalan yang sama pada rujukan dan transkrip sebelum memberi skor. Hantar language=ar, seperti yang dinasihatkan dokumentasi BroadNet. Panduan speech-to-text bahasa Arab mengandungi permintaannya.

Untuk membetulkan hamzah dalam teks pengguna, model chat boleh membantu; artikel pembetulan ejaan menunjukkan cara menyemak bahawa hanya aksara yang dimaksudkan berubah. Untuk melihat kesan penyatuan pada rentetan anda, cuba penormal teks Arab.

Soalan lazim

Adakah hamzah huruf atau baris (diakritik)?

Kedua-dua pandangan wujud. Unicode mengekodkan ء (U+0621) sebagai huruf, ARABIC LETTER HAMZA, dan juga mempunyai HAMZA ABOVE bergabung (U+0654) yang digunakan dalam bentuk terurai.

Patutkah saya menormalkan ؤ dan ئ juga?

Alat biasa tidak melakukannya secara lalai. Peraturan alif CAMeL Tools dan peraturan Lucene hanya meliputi bentuk alif. Menyatukan kerusi wau dan ya menaikkan lagi recall tetapi menggabungkan lebih banyak perkataan; ujinya pada pertanyaan anda.

Bolehkah LLM membetulkan hamzah yang tertinggal?

Selalunya boleh, sebagai sebahagian daripada pembetulan ejaan, tetapi semak bahawa ia tidak mengubah perkara lain. Jangan gunakan salinan yang dibetulkan sebagai kunci carian tanpa menormalkannya juga.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity