BroadRouter
Начать

Нормализация арабского текста (Arabic text normalization)

Обновлено

Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.

Также называют: нормализация арабского, нормализация алифа, орфографическая нормализация, татвиль, кашида, варианты алифа, Arabic normalization, Arabic text normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Арабоязычные пользователи набирают одно и то же слово по-разному. Нормализация делает эти написания совпадающими.

Как это работает

Нормализация — это набор замен символов, которые применяются и к хранимому тексту, и к запросам. ArabicNormalizer из Apache Lucene, который используют многие поисковые движки, перечисляет пять правил:

  1. хамза на подставке-алифе заменяется голым алифом;
  2. та марбута (ة) заменяется на ха (ه);
  3. йа без точек, алиф максура (ى), заменяется на йа (ي);
  4. удаляются харакат (огласовки);
  5. удаляется татвиль, «растягивающий символ».

CAMeL Tools предлагает те же идеи отдельными функциями. Её normalize_alef_ar заменяет إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) на ا, normalize_alef_maksura_ar заменяет ى на ي, а normalize_teh_marbuta_ar — ة на ه. normalize_unicode по умолчанию выполняет NFKC, то есть нормализацию Unicode, и её стоит запускать первой.

Татвиль (U+0640, также кашида) — соединительный символ, который стандарт Unicode описывает как средство выключки: вставка его между символами растягивает строку. Смысла он не несёт, поэтому كتـــاب и كتاب должны совпадать.

Пример:

Ввод После нормализации Применённые правила
إِسْلامٌ اسلام огласовки, алиф
مدرسة مدرسه та марбута
مستشفى مستشفي алиф максура
كتـــاب كتاب татвиль

Почему это важно

Larkey, Ballesteros и Connell (2002) нормализовали арабскую новостную коллекцию TREC-2001: удалили пунктуацию, огласовки и небуквенные символы и заменили несколько вариантов букв одной формой. Одна только нормализация подняла среднюю точность одноязычного поиска с .194 до .238. Их стеммер light8 поверх неё дал .376.

То же самое касается:

  • RAG и поиска по ключевым словам. Запрос, набранный без хамзы, должен находить документ, где она есть. См. поиск для арабского RAG.
  • Доли ошибок в словах (WER). Оценки арабского распознавания речи зависят от того, нормализованы ли эталоны и транскрипты одинаково. Разбор WER для арабского показывает этот эффект.
  • Дедупликации и аналитики. Если считать слова или поисковые термины пользователей без нормализации, одно слово распадается на несколько.

Цена — слияние разных слов. Унификация алифа превращает разные частицы إن и أن в одну строку, а правило ة → ه сливает كرة (мяч) с كره (ненависть). Правила для хамзы и та марбуты считайте настраиваемыми.

В BroadNet Inference

Нормализация выполняется в вашем коде, а не в API. Эндпоинты BroadNet для чата и транскрибации принимают текст или аудио как есть. Храните две копии: оригинал для модели и пользователя и нормализованный ключ для сопоставления.

Бесплатный нормализатор арабского текста применяет эти правила в браузере, чтобы было видно, что меняет каждое из них. В руководстве по нормализации есть проверенный код на Python и разбор каждого правила.

Типичные ошибки

  • Нормализовать документы, но не запросы, или наоборот.
  • Показывать пользователям нормализованный текст или цитировать его.
  • Смешивать библиотеки с разными правилами, например с двумя разными заменами для ى.

Вопросы и ответы

Помогает ли нормализация при поиске по эмбеддингам?

Классические результаты получены на поиске по ключевым словам. Для эмбеддингов сравните нормализованный и исходный ввод на своих запросах, прежде чем решать.

Нужно ли нормализовать текст перед отправкой в LLM?

Обычно нет. Отправляйте оригинал, чтобы модель видела реальное написание, хамзу и огласовки. Нормализуйте только те копии, которые сопоставляете, индексируете или оцениваете.

Все ли библиотеки применяют одинаковые правила?

Нет. CAMeL Tools и Lucene обе заменяют алиф максуру на йа и та марбуту на ха, но другие библиотеки ведут себя иначе. Выберите один набор правил и применяйте его и к документам, и к запросам.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity