BroadRouter
开始使用

海姆宰(hamza)

更新于

Hamza(ء,海姆宰)是阿拉伯语表示声门塞音的字母。它可单独书写,也可写在 alef(أ إ)、waw(ؤ)或 yeh(ئ)上,آ 则是 alef 加 madda。由于输入文本对它的写法不一致,搜索引擎和语音评分常把 alef 形式统一为 ا。

又称: 海姆宰、哈姆扎、hamza 规范化、阿拉伯语 hamza、hamza、hamzah、hamza forms、hamza normalization

Hamza 这个小符号,最常决定一个阿拉伯语拼写是规范写法还是常见写法。أحمد 和 احمد 对读者来说是同一个名字,对计算机来说却是两个不同的字符串。

工作原理

Unicode 标准说 “the hamza may occur above or below other letters”(译文:hamza 可以出现在其他字母的上方或下方),并列出 alef、waw 和 yeh 作为承载字母。每种带承载字母的形式都编码为一个预组合字符:

字符 码位 Unicode 名称
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode 还定义了分解形式:أ、ؤ 和 ئ 分别与“基础字母 + U+0654 ARABIC HAMZA ABOVE”规范等价。所以看起来一样的 أ,可能以一个码位到达,也可能以两个码位到达。Unicode 规范化为 NFC 或 NFKC 会把 ا + U+0654 重新合成为单个 U+0623,这就是为什么它应该在任何 hamza 规则之前运行。

输入的文本并不总会写出 hamza,所以同一个词可能以 أ、إ、آ 或不带符号的 ا 出现。规范化针对的正是这种差异。CAMeL Tools 的 normalize_alef_ar 把 إ أ ٱ آ 映射为 ا。Lucene 的 ArabicNormalizer 会把 “hamza with alef seat to a bare alef”(译文:以 alef 为承载的 hamza 规范化为不带符号的 alef)。

为什么重要

  • 搜索。 用户输入 اسلام,而你的文档里写的是 إسلام。没有 alef 规则,关键词搜索就会漏掉它。参见阿拉伯语文本规范化。
  • 语音评分。 Open Universal Arabic ASR Leaderboard 在计算 WER 之前会 “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas”(译文:去除所有标点和变音符号,并规范化带 hamza 和 madda 的字符)。如果你在计算自己的词错误率时不做同样的处理,一份只是漏了 hamza 的正确转写会被算作错误,你的数字也就无法与排行榜比较。
  • 代价。 统一 hamza 会合并只在 hamza 上有区别的词。动词 سأل(他问)和 سال(它流动)都会变成 سال。小品词 إن 和 أن 都会变成 ان。对大多数搜索来说可以接受;对拼写纠错或法律文本则不行。

在 BroadNet Inference 上

BroadNet 的 API 原样传递文本;hamza 的处理在你的代码中进行。BroadNet Transcribe Arabic 输出的转写是普通的阿拉伯语文本,所以评分前要对参考文本和转写文本做同一种规范化。按照 BroadNet 文档的建议,传 language=ar。阿拉伯语语音转文字指南给出了请求示例。

如果要纠正用户文本中的 hamza,对话模型可以帮上忙;拼写纠错一文展示了如何检查只有预期的字符被改动。想看看统一处理对你的字符串有什么影响,可以试试阿拉伯语文本规范化工具。

常见问题

Hamza 是字母还是变音符号?

两种看法都有。Unicode 把 ء(U+0621)编码为字母 ARABIC LETTER HAMZA,同时也有一个组合字符 HAMZA ABOVE(U+0654),用于分解形式。

ؤ 和 ئ 也要规范化吗?

常用工具默认不处理。CAMeL Tools 的 alef 规则和 Lucene 的规则只覆盖 alef 形式。把 waw 和 yeh 上的 hamza 也统一,能进一步提高召回,但会合并更多的词;请用你的查询测试。

大模型能补上漏写的 hamza 吗?

作为拼写纠错的一部分,它通常可以做到,但要检查它没有改动别的内容。不要直接把纠正后的文本当作搜索键,它同样需要规范化。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity