Ang hamza ang maliit na marka na kadalasang naghihiwalay sa tamang spelling ng Arabic at sa karaniwang spelling. Iisang pangalan ang أحمد at احمد para sa mambabasa, pero magkaibang string para sa computer.
Paano ito gumagana
Sinasabi ng Unicode Standard na “the hamza may occur above or below other letters” (Salin ng BroadRouter: “puwedeng lumabas ang hamza sa itaas o ibaba ng ibang letra”), at inililista nito ang alef, waw at yeh bilang mga upuan. Ine-encode ang bawat anyong may upuan bilang iisang precomposed na character:
| Character | Code point | Pangalan sa Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Nagtatakda rin ang Unicode ng mga decomposition: ang أ, ؤ at ئ ay canonically equivalent sa base letter na sinusundan ng U+0654 ARABIC HAMZA ABOVE. Kaya puwedeng dumating ang parehong nakikitang أ bilang isa o dalawang code point. Ibinabalik ng Unicode normalization sa NFC o NFKC ang ا + U+0654 sa iisang U+0623, kaya ito dapat mauna bago ang anumang hamza rule.
Hindi palaging isinusulat ang hamza sa tina-type na text, kaya puwedeng lumabas ang parehong salita na may أ, إ, آ o simpleng ا. Iyan ang variation na tinutugunan ng normalization. Mina-map ng normalize_alef_ar ng CAMeL Tools ang إ أ ٱ آ sa ا. Nino-normalize ng ArabicNormalizer ng Lucene ang “hamza with alef seat to a bare alef” (Salin ng BroadRouter: “hamza na nakaupo sa alef tungo sa simpleng alef”).
Bakit ito mahalaga
- Search. Nag-type ang user ng اسلام at إسلام ang nasa dokumento mo. Kung walang alef rule, hindi ito makikita ng keyword search. Tingnan ang Arabic text normalization.
- Speech scoring. Kinukuwenta ng Open Universal Arabic ASR Leaderboard ang WER pagkatapos ng “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (Salin ng BroadRouter: “pagtanggal ng lahat ng bantas at diacritics, at pag-normalize ng mga character na may Hamza at Madda”). Kung kinukuwenta mo ang sarili mong word error rate nang wala ang parehong hakbang, mabibilang na mali ang tamang transcript na walang hamza, at hindi maikukumpara ang mga numero mo sa leaderboard.
- Ang kapalit. Pinagsasama ng pag-fold ng hamza ang mga salitang hamza lang ang pinagkaiba. Ang mga verb na سأل (nagtanong siya) at سال (umagos ito) ay parehong nagiging سال. Ang mga particle na إن at أن ay parehong nagiging ان. Katanggap-tanggap ito sa karamihan ng search; hindi sa spelling correction o legal na text.
Sa BroadNet Inference
Ipinapasa ng API ng BroadNet ang text nang walang binabago; sa code mo nangyayari ang paghawak sa hamza. Ordinaryong Arabic text ang mga transcript mula sa BroadNet Transcribe Arabic, kaya mag-apply ng iisang normalization sa reference mo at sa transcript bago mag-score. Ipadala ang language=ar, gaya ng payo ng docs ng BroadNet. Nasa gabay sa Arabic speech-to-text ang request.
Para sa pagtatama ng hamza sa text ng user, makakatulong ang isang chat model; ipinapakita ng post tungkol sa spelling correction kung paano i-check na ang sinadyang mga character lang ang nagbago. Para makita kung ano ang ginagawa ng folding sa mga string mo, subukan ang Arabic text normalizer.