BroadRouter

塔马尔布塔(taa marbuta,ة)

更新于

Taa marbuta(ة,U+0629)是只出现在词尾的阿拉伯字母,常用来标记阴性名词和形容词。它看起来像带两个点的 heh(ه,U+0647),所以输入的文本常把两者混用,许多搜索规范化工具会把 ة 映射为 ه。

又称: 塔马尔布塔、圆形塔、闭口塔、阴性词尾 ة、taa marbuta、ta marbuta、teh marbuta、taa marbouta

对大多数阿拉伯语读者来说,مدرسة 和 مدرسه 是同一个词,意思是“学校”。但对字符串比较来说,它们是两个不同的词。原因就是 taa marbuta。

工作原理

Unicode 标准把 TEH MARBUTA(U+0629)列为词尾字符,也就是只出现在词或词素末尾的字符。它是右连字母,只与前一个字母相连。它的字形就是 HEH(U+0647)的词尾形式再加两个点:

字符 码位 Unicode 名称 接在 ب 后的词尾形式
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

由于两者在词尾只差两个点,输入的文本里两种拼法都会出现。Bouamor 等人(2018)指出,现代标准阿拉伯语有标准正字法,但各地方言没有,人们常按发音拼写单词。所以在非正式文本和阿拉伯语方言文本中,词典写作 ة 的地方,经常会看到词尾的 ه。

搜索规范化工具会把两者合并。CAMeL Tools 的 normalize_teh_marbuta_ar 就是一句简单的 s.replace('ة', 'ه'),Lucene 的 ArabicNormalizer 也把 “normalization of teh marbuta to heh”(译文:把 teh marbuta 规范化为 heh)列为一条规则。

为什么重要

召回率。 把 ة 合并为 ه,搜索 مدرسه 就能找到写作 مدرسة 的文档,反之亦然。这是阿拉伯语文本规范化的标准规则之一,与 alef 和 hamza 的合并并列。

词被合并。 这条规则也会把只差这一个字母的词合成一个:

原词 含义 ة 转为 ه 之后
كرة 球 كره
كره 憎恨 كره

对搜索来说,偶尔的误匹配通常是可以接受的代价。对实体匹配、拼写纠错或法律文本,要保留这一区别,并比较原文。

评分。 在语音转文字评测中,如果参考文本是 ة 而转写写成了 ه,除非两边按同样的方式规范化,否则就会算作一个词错误。评分之前先决定好,并写明。

在 BroadNet Inference 上

BroadNet 的 API 不做文本规范化。聊天模型按原样接收和返回 ة 与 ه,BroadNet Transcribe Arabic 返回的是普通阿拉伯语文本。请在你自己的索引或评分代码中应用 ة 规则,而且两边都要用。

如果你让聊天模型纠正拼写,请在代码中检查它的修改:阿拉伯语拼写纠错文章展示了一种基于 diff 的检查。关于索引,阿拉伯语 RAG 搜索文章和规范化指南说明了这条规则该放在哪一步。你可以用阿拉伯语文本规范化工具在自己的字符串上试试这条规则。

常见问题

为什么不反过来把 ه 映射为 ة?

因为 ه 本身就是一个常用字母,包括表示“他的”的代词后缀。把 ة 映射为 ه 是单向的,可以安全地全面应用;反过来则会凭空造出字母。

ة 到 ه 的规则会作用于词中间吗?

Taa marbuta 只出现在词或词素的末尾,所以实际上这条规则只会改变词尾字母。CAMeL Tools 替换所有 ة 时并不检查位置。

拼写纠错应该把 ة 恢复回来吗?

可以,但词尾的 ه 是否应为 ة,取决于具体的词,有时还取决于方言。让模型去纠正,然后在代码和人工审核中检查改动。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity