Хамза — небольшой знак, который чаще всего отличает правильное арабское написание от распространённого. Для читателя أحمد и احمد — одно и то же имя, а для компьютера — разные строки.
Как это работает
Стандарт Unicode говорит, что “the hamza may occur above or below other letters” (перевод: «хамза может стоять над другими буквами или под ними»), и называет подставками алиф, вав и йа. Каждая форма на подставке кодируется одним составным символом:
| Символ | Кодовая точка | Имя в Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode также определяет разложения: каждый из символов أ, ؤ и ئ канонически эквивалентен базовой букве, за которой следует U+0654 ARABIC HAMZA ABOVE. Поэтому одна и та же видимая أ может прийти как одна кодовая точка или как две. Нормализация Unicode в NFC или NFKC превращает ا + U+0654 обратно в единый U+0623, поэтому её нужно выполнять до любых правил для хамзы.
В набранном тексте хамзу пишут не всегда, поэтому одно и то же слово может встретиться с أ, إ, آ или с голым ا. Именно на эту вариативность и нацелена нормализация. Функция normalize_alef_ar в CAMeL Tools сводит إ أ ٱ آ к ا. ArabicNormalizer в Lucene нормализует “hamza with alef seat to a bare alef” (перевод: «хамзу на подставке алиф в голый алиф»).
Почему это важно
- Поиск. Пользователь набирает اسلام, а в вашем документе — إسلام. Без правила для алифа поиск по ключевым словам это пропустит. См. нормализацию арабского текста.
- Оценка распознавания речи. Open Universal Arabic ASR Leaderboard считает WER после “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (перевод: «удаления всей пунктуации и огласовок и нормализации символов с хамзами и маддами»). Если вы считаете собственную долю ошибок в словах без того же шага, правильная расшифровка, в которой пропущена хамза, засчитывается как ошибка, и ваши цифры будет нельзя сравнить с лидербордом.
- Цена. Сведение хамзы объединяет слова, которые отличаются только ею. Глаголы سأل («он спросил») и سال («оно потекло») оба превращаются в سال. Частицы إن и أن обе становятся ان. Для большинства задач поиска это приемлемо, а для исправления орфографии или юридических текстов — нет.
В BroadNet Inference
API BroadNet передаёт текст без изменений; обработка хамзы происходит в вашем коде. Расшифровки от BroadNet Transcribe Arabic — обычный арабский текст, поэтому перед оценкой применяйте одинаковую нормализацию и к эталону, и к расшифровке. Отправляйте language=ar, как советует документация BroadNet. Запрос приведён в руководстве по распознаванию арабской речи.
Исправить хамзу в пользовательском тексте может помочь чат-модель; статья об исправлении орфографии показывает, как проверить, что изменились только нужные символы. Чтобы увидеть, что сведение делает с вашими строками, попробуйте нормализатор арабского текста.