BroadRouter

Та марбута (ة, taa marbuta)

Обновлено

Та марбута (ة, U+0629) — это арабская буква, которая встречается только в конце слова и часто обозначает женский род существительных и прилагательных. Она выглядит как ха (ه, U+0647) с двумя точками, поэтому в набранном тексте их путают, и многие поисковые нормализаторы заменяют ة на ه.

Также называют: та марбута, та-марбута, связанная та, ة, ta marbuta, teh marbuta, taa marbouta

Для большинства читателей арабского مدرسة и مدرسه — одно и то же слово, «школа». Для сравнения строк это разные слова. Причина — та марбута.

Как это работает

Стандарт Unicode относит TEH MARBUTA (U+0629) к конечным символам, которые встречаются только в конце слова или морфемы. Она соединяется только справа, то есть только с предыдущей буквой. По форме это конечная HEH (U+0647) плюс две точки:

Символ Кодовая точка Имя в Unicode Конечная форма после ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Поскольку два варианта различаются лишь двумя точками в конце слова, в набранном тексте встречаются оба написания. Bouamor и др. (2018) отмечают, что у современного литературного арабского стандартная орфография есть, а у диалектов нет, и люди часто пишут слова так, как их произносят. Поэтому в неформальном тексте и на диалектном арабском ожидайте конечную ه там, где словарь написал бы ة.

Поисковые нормализаторы сводят их в одну. normalize_teh_marbuta_ar в CAMeL Tools — это простое s.replace('ة', 'ه'), а ArabicNormalizer в Lucene перечисляет среди правил “normalization of teh marbuta to heh” (перевод: «нормализация та марбуты в ха»).

Почему это важно

Полнота. Если свести ة к ه, запрос مدرسه найдёт документы с написанием مدرسة, и наоборот. Это одно из стандартных правил нормализации арабского текста наряду со сведением алифа и хамзы.

Слияние слов. Правило также склеивает слова, которые различаются только этой буквой:

Исходное Значение После ة → ه
كرة мяч كره
كره ненависть كره

Для поиска редкие ложные совпадения обычно приемлемая цена. Для сопоставления сущностей, проверки орфографии или юридических текстов сохраняйте различие и сравнивайте оригиналы.

Оценка. При оценке распознавания речи расшифровка, где стоит ه, а в эталоне ة, считается ошибкой в слове, если обе стороны не нормализованы одинаково. Решите это до подсчёта и укажите явно.

В BroadNet Inference

API BroadNet не нормализует текст. Чат-модели получают и возвращают ة и ه ровно так, как они написаны, а BroadNet Transcribe Arabic возвращает обычный арабский текст. Применяйте правило для ة в собственном коде индексации или оценки, с обеих сторон.

Если вы просите чат-модель исправить орфографию, проверяйте её правки в коде: в статье об исправлении арабской орфографии показана проверка через diff. Для индексов место этого правила показывают статья об арабском RAG-поиске и руководство по нормализации. Попробовать правило на своих строках можно в нормализаторе арабского текста.

Вопросы и ответы

Почему не заменять ه на ة?

Потому что ه — самостоятельная частая буква, в том числе в местоимённом суффиксе со значением «его». Замена ة на ه однонаправленная, и её безопасно применять везде; обратная замена выдумывала бы буквы.

Работает ли правило ة → ه в середине слова?

Та марбута встречается только в конце слова или морфемы, поэтому на практике правило меняет только конечные буквы. CAMeL Tools заменяет каждую ة, не проверяя позицию.

Должна ли проверка орфографии восстанавливать ة?

Может, но должна ли конечная ه быть ة, зависит от слова, а иногда и от диалекта. Пусть исправление делает модель, а затем проверьте изменение в коде и на ревью.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity