同样三个阿拉伯字母,可以表示“他写了”“书(复数)”或“它被写了”。区分它们的就是变音符号,而大多数文本恰恰不写。
工作原理
Unicode 标准把这些符号称为 tashkil,说它们 “may be written as combining marks”(译文:可以作为组合字符书写),接着又说:“In normal writing, however, these marks are omitted.”(译文:不过在日常书写中,这些符号会被省略。)harakat 指其中表示短元音的那一部分。每个符号都是独立的组合字符,紧跟在它所标注的字母之后。主要的符号位于 U+064B 到 U+0652:
| 码位 | 名称 | 作用 |
|---|---|---|
| U+064E | FATHA | 短元音 a |
| U+064F | DAMMA | 短元音 u |
| U+0650 | KASRA | 短元音 i |
| U+064B 到 U+064D | FATHATAN、DAMMATAN、KASRATAN | 鼻音符 tanween(-an、-un、-in 词尾) |
| U+0651 | SHADDA | 辅音重叠 |
| U+0652 | SUKUN | 无元音 |
以不带符号的 كتب 为例:
- كَتَبَ(kataba),“他写了”
- كُتُب(kutub),“书(复数)”
- كُتِبَ(kutiba),“它被写了”
不加符号时,三者是完全相同的字符串。读者靠句子判断意思,软件也得这样做,这就是自动标音工具(diacritizer)的任务。Zerrouki 和 Balla(2017)构建了 Tashkeela 语料库,约 7560 万词,以古典阿拉伯语为主,原因是完整标注元音的文本很稀少,而训练标音工具又离不开它。Fadel 等(2019)报告的神经网络标音模型在一个公开基准上达到或超过了此前的成果,并表明变音符号能帮助机器翻译。
各种库都把这些符号当作一个集合处理。CAMeL Tools 的 AR_DIAC_CHARSET 包含 U+064B 到 U+0652,外加 U+0670(上标 alef),它的 dediac_ar 函数会去掉这些符号。
为什么重要
- 搜索与匹配。 同一个词带不带符号,就是两个不同的字符串。作为阿拉伯语文本规范化的一步,要在搜索键上去掉它们,否则精确匹配会失败。
- Token。 每个符号都是分词器要多处理的一个字符。完整标注元音的文本比不带符号的文本明显更费 token;实测比例见变音符号指南,基准数据见阿拉伯语每个词的 token 数。
- 语音与评测。 转写结果通常不带符号。计算词错误率前,要把两边文本的变音符号都去掉,否则一个多了 fatha 的正确词也会被算作错误。
- 需要符号的场景。 语音合成、语言教学、《古兰经》和诗歌文本,以及不标元音就会产生歧义的人名。
在 BroadNet Inference 上
BroadNet 没有自动标音端点。对话模型通过 POST /v1/chat/completions 把 tashkeel 当作普通文本接收,所以你可以让 Qwen3.8 27B 这样的模型添加或去掉符号。稳妥的做法是在代码里检查回复:去掉变音符号后,与输入逐个字母比较。用大模型标注变音符号一文给出了提示词和检查方法。
去掉符号则完全不需要模型。对 U+064B 到 U+0652 写一个简短的正则表达式,更快、免费且准确。阿拉伯语文本规范化工具可以在浏览器里展示效果。