Арабоязычные пользователи набирают одно и то же слово по-разному. Нормализация делает эти написания совпадающими.
Как это работает
Нормализация — это набор замен символов, которые применяются и к хранимому тексту, и к запросам. ArabicNormalizer из Apache Lucene, который используют многие поисковые движки, перечисляет пять правил:
- хамза на подставке-алифе заменяется голым алифом;
- та марбута (ة) заменяется на ха (ه);
- йа без точек, алиф максура (ى), заменяется на йа (ي);
- удаляются харакат (огласовки);
- удаляется татвиль, «растягивающий символ».
CAMeL Tools предлагает те же идеи отдельными функциями. Её normalize_alef_ar заменяет إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) на ا, normalize_alef_maksura_ar заменяет ى на ي, а normalize_teh_marbuta_ar — ة на ه. normalize_unicode по умолчанию выполняет NFKC, то есть нормализацию Unicode, и её стоит запускать первой.
Татвиль (U+0640, также кашида) — соединительный символ, который стандарт Unicode описывает как средство выключки: вставка его между символами растягивает строку. Смысла он не несёт, поэтому كتـــاب и كتاب должны совпадать.
Пример:
| Ввод | После нормализации | Применённые правила |
|---|---|---|
| إِسْلامٌ | اسلام | огласовки, алиф |
| مدرسة | مدرسه | та марбута |
| مستشفى | مستشفي | алиф максура |
| كتـــاب | كتاب | татвиль |
Почему это важно
Larkey, Ballesteros и Connell (2002) нормализовали арабскую новостную коллекцию TREC-2001: удалили пунктуацию, огласовки и небуквенные символы и заменили несколько вариантов букв одной формой. Одна только нормализация подняла среднюю точность одноязычного поиска с .194 до .238. Их стеммер light8 поверх неё дал .376.
То же самое касается:
- RAG и поиска по ключевым словам. Запрос, набранный без хамзы, должен находить документ, где она есть. См. поиск для арабского RAG.
- Доли ошибок в словах (WER). Оценки арабского распознавания речи зависят от того, нормализованы ли эталоны и транскрипты одинаково. Разбор WER для арабского показывает этот эффект.
- Дедупликации и аналитики. Если считать слова или поисковые термины пользователей без нормализации, одно слово распадается на несколько.
Цена — слияние разных слов. Унификация алифа превращает разные частицы إن и أن в одну строку, а правило ة → ه сливает كرة (мяч) с كره (ненависть). Правила для хамзы и та марбуты считайте настраиваемыми.
В BroadNet Inference
Нормализация выполняется в вашем коде, а не в API. Эндпоинты BroadNet для чата и транскрибации принимают текст или аудио как есть. Храните две копии: оригинал для модели и пользователя и нормализованный ключ для сопоставления.
Бесплатный нормализатор арабского текста применяет эти правила в браузере, чтобы было видно, что меняет каждое из них. В руководстве по нормализации есть проверенный код на Python и разбор каждого правила.
Типичные ошибки
- Нормализовать документы, но не запросы, или наоборот.
- Показывать пользователям нормализованный текст или цитировать его.
- Смешивать библиотеки с разными правилами, например с двумя разными заменами для ى.