BroadRouter

Tâ’ marbûta (ة)

Mis à jour

Le tâ’ marbûta (ة, U+0629) est une lettre arabe qui n’apparaît qu’en fin de mot et marque souvent les noms et adjectifs féminins. Il ressemble au hâ’ (ه, U+0647) surmonté de deux points : les textes saisis mélangent donc les deux, et de nombreux normaliseurs de recherche remplacent ة par ه.

Aussi appelé : tâ’ marbûta, ta marbouta, taa marbuta, tā’ marbūṭa, ta marbuta, teh marbuta, taa marbouta

مدرسة et مدرسه sont le même mot, « école », pour la plupart des lecteurs arabophones. Pour une comparaison de chaînes, ils sont différents. C’est la faute du tâ’ marbûta.

Comment ça marche

Le standard Unicode classe TEH MARBUTA (U+0629) parmi les caractères finaux, qui n’apparaissent qu’en fin de mot ou de morphème. Il ne se lie qu’à droite, donc uniquement à la lettre qui le précède. Sa forme est celle de HEH (U+0647) en fin de mot, plus deux points :

Caractère Point de code Nom Unicode Forme finale après ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Comme les deux ne diffèrent que par deux points en fin de mot, les deux graphies apparaissent dans les textes saisis. Bouamor et al. (2018) notent que si l’arabe standard moderne a une orthographe normalisée, les dialectes n’en ont pas, et que les gens écrivent souvent les mots comme ils les prononcent. Dans les textes informels et en arabe dialectal, attendez-vous donc à un ه final là où un dictionnaire écrirait ة.

Les normaliseurs de recherche fusionnent les deux. normalize_teh_marbuta_ar de CAMeL Tools est un simple s.replace('ة', 'ه'), et l’ArabicNormalizer de Lucene cite « normalization of teh marbuta to heh » (traduction : « normalisation du teh marbuta en heh ») parmi ses règles.

Pourquoi c’est important

Rappel. Fusionner ة dans ه permet à une requête مدرسه de trouver les documents qui écrivent مدرسة, et inversement. C’est l’une des règles standard de la normalisation du texte arabe, avec l’unification de l’alif et de la hamza.

Mots fusionnés. La règle confond aussi des mots qui ne diffèrent que par cette lettre :

Original Sens Après ة vers ه
كرة ballon كره
كره haine كره

Pour la recherche, une fausse correspondance occasionnelle est généralement un prix acceptable. Pour la mise en correspondance d’entités, la correction orthographique ou les textes juridiques, conservez la distinction et comparez les originaux.

Évaluation. En évaluation de speech-to-text, une transcription qui écrit ه là où la référence a ة compte comme une erreur de mot, sauf si les deux sont normalisées de la même façon. Décidez-le avant de calculer les scores, et dites-le.

Sur BroadNet Inference

L’API de BroadNet ne normalise pas le texte. Les modèles de chat reçoivent et renvoient ة et ه exactement tels qu’ils sont écrits, et BroadNet Transcribe Arabic renvoie du texte arabe ordinaire. Appliquez la règle du ة dans votre propre code d’indexation ou d’évaluation, des deux côtés.

Si vous demandez à un modèle de chat de corriger l’orthographe, vérifiez ses modifications dans le code : l’article sur la correction orthographique en arabe montre une vérification par diff. Pour les index, l’article sur la recherche RAG en arabe et le guide de normalisation montrent où placer la règle. Vous pouvez tester la règle sur vos propres chaînes avec le normaliseur de texte arabe.

Questions fréquentes

Pourquoi ne pas plutôt remplacer ه par ة ?

Parce que ه est une lettre courante à part entière, notamment comme suffixe pronominal signifiant « son, sa (à lui) ». Remplacer ة par ه est une opération à sens unique, sûre partout ; l’inverse inventerait des lettres.

La règle ة vers ه s’applique-t-elle en milieu de mot ?

Le tâ’ marbûta n’apparaît qu’en fin de mot ou de morphème : en pratique, la règle ne modifie donc que des lettres finales. CAMeL Tools remplace chaque ة sans vérifier sa position.

La correction orthographique doit-elle restaurer le ة ?

Elle le peut, mais savoir si un ه final devrait être un ة dépend du mot et parfois du dialecte. Laissez le modèle corriger, puis vérifiez la modification dans le code et en relecture.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity