---
title: "阿拉伯语文本规范化：用于搜索和 RAG | BroadRouter"
description: "Tashkeel、alef 变体、ta marbuta、hamza 载体、波斯字母、数字与 Unicode：哪些阿拉伯语规范化规则有助于搜索、哪些有害，附经过测试的 Python 代码。"
url: https://broadrouter.com/zh/blog/arabic-text-normalization-search/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/arabic-text-normalization-search/)（2026-11-16 更新）。

# 面向搜索和 RAG 的阿拉伯语文本规范化：该改什么，不该改什么

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

对搜索和 RAG 索引，存储副本和每条查询都要用同样的方式规范化：Unicode NFKC，去掉 tashkeel 和 tatweel，统一 alef 变体，把 ى 映射为 ي、ة 映射为 ه，并转换数字。原文保留用于显示和发给大模型。hamza 载体和 ta marbuta 的规则应可调：它们能提高召回率，但会合并一些不同的词。

## 要点

-   规范化的是搜索键，绝不是你显示或引用的文本。把原文存放在旁边。
-   在一项基于 TREC-2001 阿拉伯语新闻语料的经典研究中，仅规范化就把平均精确率从 .194 提高到 .238，再加上轻量词干提取则达到 .376。
-   先运行 Unicode NFKC。它会组合分解形式的 hamza，拆开呈现形式和连字，让后续规则可靠生效。
-   各个库的做法不一致。PyArabic 的 normalize\_alef 把 ى 映射为 ا；CAMeL Tools 则把 ى 映射为 ي。选定一套规则，处处统一使用。
-   做向量搜索时，用你自己的查询测试规范化输入与原始输入。规范化规则的效果是在关键词搜索上测出来的。

**本页内容**

1.  规范化真的有助于检索吗？
2.  应该规范化什么，每条规则的代价是什么？
3.  为什么要先做 Unicode 规范化？
4.  哪些内容不应该规范化？
5.  CAMeL Tools、PyArabic 和 Lucene 有何不同？
6.  一个经过测试的规范化函数长什么样？
7.  规范化如何配合向量嵌入和 RAG？
8.  BroadNet Inference 的定位

阿拉伯语允许同一个词有好几种写法。用户输入 احمد，文档里写的是 أَحْمَد。逐字符比较的搜索索引会错过这次匹配，RAG 流水线中的关键词检索部分也一样。规范化的作用，是在比较之前把各种变体映射为同一种形式。但做得不小心，也会把意思不同的词合并在一起。本文逐条讲解每条规则：它做什么、何时使用、会破坏什么，以及主流库之间的差异。最后给出经过测试的 Python 代码。

完整的阿拉伯语 RAG 流水线（分块、混合检索、带引用的回答），见[真正可用的阿拉伯语 RAG](https://broadrouter.com/zh/blog/arabic-rag-search/)。本文更深入地讲规范化这一步。

## 规范化真的有助于检索吗？

对关键词搜索来说，是的，证据虽然老，但很清楚。Larkey、Ballesteros 与 Connell（SIGIR 2002）在 TREC-2001 新闻语料上测试了阿拉伯语检索。在词干提取之前，他们对语料和查询做了规范化：去掉注音符号和标点，统一 alef 变体，并映射词尾的 ى 和 ة。他们在单语、未扩展查询下的结果：

| 处理方式 | 平均精确率 | 相对原始文本的变化（按四舍五入后的数值计算） |
| --- | --- | --- |
| 原始文本 | .194 | — |
| 规范化 | .238 | +22.7% |
| 规范化 + 轻量词干提取（light8） | .376 | +93.8% |

有两点需要注意。这是 2002 年在新闻上做的关键词检索，不是向量搜索。而且最大的提升来自轻量词干提取（去掉 و、ال 等前缀和常见后缀），这是与规范化分开的一步。Lucene 的 `ArabicAnalyzer` 和 Elasticsearch 的 `arabic` 分析器两者都做：先规范化，再做轻量词干提取。

## 应该规范化什么，每条规则的代价是什么？

| 规则 | 示例 | 搜索索引 | 风险 |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا，ا + ٔ → أ | 要，总是第一步 | 也会改写其他文字中的兼容字符 |
| 去除不可见标记 | 零宽连接符、RLM/LRM、BOM | 要 | 对阿拉伯语无风险；ZWNJ 在波斯语中有意义 |
| 去除 tashkeel | أَحْمَدُ → أحمد | 要 | 合并只靠元音区分的词 |
| 去除 tatweel（ـ） | الـــمدينة → المدينة | 要 | 无 |
| 统一 alef | أ إ آ ٱ → ا | 要 | 合并少数词对：سأل（问）和 سال（流） |
| Alef maksura | ى → ي | 通常要 | 合并 على（在……上）和 علي（阿里） |
| Ta marbuta | ة → ه | 通常要 | 合并 كتابة（书写）和 كتابه（他的书） |
| Hamza 载体 | ؤ ئ → ء | 可选 | 合并 مسؤول 和 مسئول（好事），但也合并一些不同的词 |
| 波斯字母 | ی → ي，ک → ك | 用户使用波斯语键盘时要 | 对阿拉伯语文本无风险 |
| 数字 | ٢٠٢٦ 和 ۲۰۲۶ → 2026 | 要 | 无；原文保留用于显示 |

第一列针对的是索引键和查询。你存储、显示和传给模型的文本保持原样。

## 为什么要先做 Unicode 规范化？

同一个看得见的字母，可以有不同的存储方式。أ 可以是一个码位（U+0623），也可以是不带 hamza 的 alef 后接一个组合 hamza（U+0627 U+0654）。较旧的 PDF 和某些键盘会产生阿拉伯文呈现形式（U+FB50 到 U+FEFF），例如单字符的 lam-alef ﻻ。按照 [Unicode 规范化](https://unicode.org/reports/tr15/)，NFC 会把 hamza 组合到 alef 上，NFKC 还会拆开呈现形式和连字。在 Python 中，`unicodedata.normalize("NFKC", "ﻻ")` 返回 لا，`ﷲ` 变成 الله。

把这一步放在最前面。否则，替换 أ 的正则表达式会漏掉分解形式。还有第二个陷阱：CAMeL Tools 的 `dediac_ar` 删除的是其 `AR_DIAC_CHARSET` 中的字符（U+064B 到 U+0652 以及 U+0670）。这个集合不包括组合 hamza 和 madda 符号（U+0653 到 U+0655），所以在分解形式的文本上，它们会在去注音后残留下来。NFKC 会先把它们组合起来。

NFKC 是兼容性映射，它也会改变阿拉伯文以外的字符，例如全角拉丁字母。在搜索键里这通常正是你想要的，这也是要把原文保留在旁边的又一个理由。

## 哪些内容不应该规范化？

-   \*\*你显示、引用或引述的文本。\*\*规范化后的阿拉伯语看起来像拼错了（المدينه）。把原文存放在键的旁边。
-   \*\*发给大模型的内容。\*\*模型能很好地读懂 hamza 和 tashkeel，原样的文本能让人名和引文保持准确。去掉 tashkeel 能省一些 token；用准确性去换之前，先用[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)看看能省多少。
-   **符号承载意义的文本：**《古兰经》、圣训、诗歌、儿童读物、发音和注音任务（参见[用大模型加注音符号](https://broadrouter.com/zh/blog/arabic-diacritization-llm/)）。
-   \*\*拼写或语法纠错：\*\*先规范化会抹掉你要纠正的 hamza 和 taa marbuta 错误；参见[用大模型做阿拉伯语语法和拼写纠错](https://broadrouter.com/zh/blog/arabic-grammar-spelling-correction-llm/)。
-   \*\*标识符。\*\*产品编码、邮箱、URL 和拉丁文字不能套用阿拉伯语规则。只对阿拉伯文字段或阿拉伯文词元做规范化。
-   \*\*需要精确搜索的字段。\*\*对法定名称或类似 ID 的字段，再额外索引一份原始副本，这样精确匹配仍能排在最前面。

## CAMeL Tools、PyArabic 和 Lucene 有何不同？

它们实现的规则并不相同，混用会导致索引和查询永远匹配不上。我们阅读了每个库的文档和源码，并运行了 PyArabic 0.6.15：

| 函数 | 实际做了什么 |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC（`compatibility=False` 时为 NFC）；还会把 ﷼ 展开为 ريال，把 ﷽ 展开为完整短语 |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | 删除 U+064B 到 U+0652 以及 U+0670；保留 tatweel |
| PyArabic `strip_tashkeel` | 删除包括 shadda 在内的所有 harakat |
| PyArabic `strip_tatweel` | 删除 ـ |
| PyArabic `normalize_alef` | 所有 alef 形式**以及 ى** → ا，于是 إلى 变成 الا |
| PyArabic `normalize_hamza` | 默认方法把所有 hamza 形式（包括 أ）映射为 ء，于是 أحمد 变成 ءحمد |
| Lucene `ArabicNormalizer` | alef 上带 hamza 的形式 → ا，ة → ه，ى → ي，删除 harakat 和 tatweel |

PyArabic 那几行常常出人意料。它的 `normalize_alef` 文档字符串说 alef maksura 是例外，但在 0.6.15 中，`ALEFAT` 集合包含 ى，函数会把它映射为 ا。它的 `normalize_hamza` 是为不区分 hamza 的匹配设计的，而不是通用搜索。顺序也很重要：先做 alef 规范化，`normalize_hamza` 就只会处理 ؤ、ئ 和 ء，于是 مسؤول 和 مسئول 都变成 مسءول。它的 `tasheel` 方法则得到 مسوول 和 مسيول，两者互不匹配。

Elasticsearch 的 `arabic_normalization` 过滤器使用 Lucene 的规范化器，所以想要与 Elasticsearch 索引匹配的 Python 流水线，应当完全照搬 Lucene 的规则。也就是 ى → ي，而不是 ى → ا。

## 一个经过测试的规范化函数长什么样？

这个函数遵循 Lucene 的选择，增加了 Unicode、数字和波斯字母的处理，并把有风险的规则做成开关。它只用到标准库。

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

它在我们的测试字符串上返回的结果：

| 输入 | 输出 | 说明 |
| --- | --- | --- |
| أَحْمَدُ | احمد | 去掉了 tashkeel 和 hamza |
| الـــمدينة | المدينه | tatweel 和 ta marbuta |
| إلى | الي | alef 和 alef maksura |
| ا + U+0654 + مل | امل | 分解的 hamza 先被组合，再被统一 |
| ﻻبد | لابد | 呈现形式被拆开 |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | 阿拉伯-印度数字和波斯数字 |
| مسؤول / مسئول | `hamza_seats=True` 时都变成 مسءول | 默认不变 |
| فارسی | فارسي | 波斯语的 ya |

在两个地方使用它：构建索引键时，以及读取查询时。把 `original` 和 `normalize(original)` 并排存放，用后者搜索，返回前者。免费的[阿拉伯语文本规范化工具](https://broadrouter.com/tools/arabic-text-normalizer/)可以让你粘贴文本，在选定设置之前看到每条规则的效果。

## 规范化如何配合向量嵌入和 RAG？

RAG 流水线通常有两个检索器：关键词搜索（BM25）和[向量嵌入](https://broadrouter.com/zh/glossary/embeddings/)。规范化显然有助于关键词那一侧。对向量那一侧，上面的证据并不适用：嵌入模型是在原始文本上训练的，许多模型已经把 احمد 和 أحمد 放得很近。嵌入前做规范化，可能有帮助，可能没影响，也可能有害。准备 50 到 100 条已知答案的真实查询，分别用原始输入和规范化输入运行，保留召回率更高的那种。无论选哪种，对文档和查询都要一致地应用。

规范化还会略微降低 token 数，因为注音符号和 tatweel 对[分词器](https://broadrouter.com/zh/glossary/tokenizer/)来说是额外字符。实测比值见[分词器效率数据集](https://broadrouter.com/data/tokenizer-efficiency/)和[阿拉伯语每词 token 数](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)。同样的规范化也用于公平地评估语音识别；参见[阿拉伯语 WER 详解](https://broadrouter.com/zh/blog/arabic-asr-wer-explained/)。

Arabizi（用拉丁字母书写的阿拉伯语）需要完全不同的方法：[大模型如何处理 Arabizi](https://broadrouter.com/zh/blog/arabizi-llm-handling/)。

## BroadNet Inference 的定位

规范化在你自己的代码里运行，不需要任何 API。BroadNet Inference 在检索之后才登场。它不提供嵌入服务，所以请自选检索器和嵌入服务商，再搭配一个 BroadNet 对话模型完成回答这一步。[GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 和 DeepSeek V4.1 Flash 支持 1,048,576 token 的上下文，你可以把许多检索到的段落以未经规范化的原始阿拉伯语传进去。按阿拉伯语质量选择模型，参见[如何为阿拉伯语选择大模型](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)。如果你只需要关键词搜索，Elasticsearch 内置的 `arabic` 分析器可能就足够了。

相关免费工具（英文）

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[海姆宰（hamza）](https://broadrouter.com/zh/glossary/hamza/)

Hamza（ء，海姆宰）是阿拉伯语表示声门塞音的字母。它可单独书写，也可写在 alef（أ إ）、waw（ؤ）或 yeh（ئ）上，آ 则是 alef 加 madda。由于输入文本对它的写法不一致，搜索引擎和语音评分常把 alef 形式统一为 ا。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[Unicode 规范化（Unicode normalization）](https://broadrouter.com/zh/glossary/unicode-normalization/)

Unicode 规范化把文本转换成标准形式，让看起来相同的字符串使用相同的码位。共有 NFD、NFC、NFKD 和 NFKC 四种形式；带 K 的形式还会把兼容字符（如阿拉伯语表现形式和连字）折叠成普通字母。

[阿拉伯语变音符号（tashkeel）](https://broadrouter.com/zh/glossary/arabic-diacritics/)

阿拉伯语变音符号（tashkeel）是写在字母上方或下方的小符号，用来标示短元音、辅音重叠和无元音。它们是可选的：包括新闻在内，大多数阿拉伯语文本都省略它们，读者和软件需要根据上下文推断元音。

[阿拉伯语文本规范化（Arabic text normalization）](https://broadrouter.com/zh/glossary/arabic-text-normalization/)

阿拉伯语文本规范化是在匹配之前把同一个词的不同拼写统一成一种形式的步骤：去掉变音符号和 tatweel，统一 alef 的各种写法，通常还把 ى 映射为 ي、把 ة 映射为 ه。它用于搜索键和评测，不用于展示的文本。

[嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/)

嵌入向量（embeddings）是模型为一段文本、一张图片或其他输入生成的浮点数列表（向量）。意思相近的输入会得到彼此接近的向量，因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[塔马尔布塔（taa marbuta，ة）](https://broadrouter.com/zh/glossary/taa-marbuta/)

Taa marbuta（ة，U+0629）是只出现在词尾的阿拉伯字母，常用来标记阴性名词和形容词。它看起来像带两个点的 heh（ه，U+0647），所以输入的文本常把两者混用，许多搜索规范化工具会把 ة 映射为 ه。

## 常见问题

### 建索引前要去掉阿拉伯语文本的 tashkeel（注音符号）吗？

做搜索的话，要。大多数查询和大多数现代文本都没有注音符号，否则带注音的文档就匹配不上。从索引键和查询中去掉它们，原文保留用于显示；在《古兰经》、诗歌或发音类任务中，注音符号承载意义，要保留。

### ta marbuta（ة）应该规范化为 ha（ه）吗？

做搜索时通常应该，因为很多人在词尾打的是 ه。但它确实会合并一些词对，例如 كتابة（书写）和 كتابه（他的书）。如果在你的领域里这些冲突很重要，就保留 ة，并测试两种设置。

### Elasticsearch 中的阿拉伯语规范化做了什么？

arabic\_normalization 词元过滤器使用 Lucene 的 ArabicNormalizer：把 alef 上带 hamza 的各种形式变为不带 hamza 的 alef，ta marbuta 变为 ha，alef maksura 变为 ya，并去除 harakat 和 tatweel。内置的 arabic 分析器还加上了停用词，以及一个去除附着冠词、连词、介词和常见后缀的词干提取器。

### 规范化阿拉伯语对向量搜索有帮助吗？

尚无定论。已测得的收益来自关键词检索。嵌入模型从原始文本中学习，往往能处理拼写变体，所以在定下方案之前，先准备一小组真实查询，比较规范化前后的召回率。

### 把阿拉伯语文本发给大模型之前要先规范化吗？

一般不要。发送原文，引文、人名和出处才能保持准确。去掉 tashkeel 能省一些 token，但只有在任务不需要这些符号时才这样做。

## 继续阅读

-   [阿拉伯语 RAG：真正有效的规范化、分块与检索](https://broadrouter.com/zh/blog/arabic-rag-search/)
-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)
-   [阿拉伯语语音识别的词错误率（WER）详解](https://broadrouter.com/zh/blog/arabic-asr-wer-explained/)
-   [Arabizi 与大模型：处理用 3、7 等数字书写的拉丁化阿拉伯语](https://broadrouter.com/zh/blog/arabizi-llm-handling/)
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)
-   [用大模型做阿拉伯语命名实体抽取：JSON、日期与校验](https://broadrouter.com/zh/blog/arabic-named-entity-extraction-llm/)
-   [用大模型给阿拉伯语加注音符号：提示词、校验与 DER](https://broadrouter.com/zh/blog/arabic-diacritization-llm/)
-   [用大模型做阿拉伯语语法和拼写纠错：实操指南](https://broadrouter.com/zh/blog/arabic-grammar-spelling-correction-llm/)
-   [用 API 把阿拉伯语会议录音生成会议纪要](https://broadrouter.com/zh/blog/arabic-meeting-minutes-from-recordings/)
-   [阿拉伯语 OCR API 对比：Google、Azure、Textract、Mistral 与大模型](https://broadrouter.com/zh/blog/arabic-ocr-api-comparison/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**来源**

-   [Larkey、Ballesteros 与 Connell，Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis，SIGIR 2002（2026-11-15 查阅）](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [CAMeL Tools 1.6.0 文档，camel\_tools.utils.normalize（2026-11-15 查阅）](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools 源码，charsets.py：dediac\_ar 使用的 AR\_DIAC\_CHARSET（2026-11-15 查阅）](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [GitHub 上的 PyArabic 0.6.15，araby 模块（2026-11-15 查阅）](https://github.com/linuxscout/pyarabic)
-   [Apache Lucene 9.12 ArabicNormalizer 文档（2026-11-15 查阅）](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Elasticsearch 规范化词元过滤器：arabic\_normalization（2026-11-15 查阅）](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode 标准附录 #15，Unicode Normalization Forms（2026-11-15 查阅）](https://unicode.org/reports/tr15/)
-   [Unicode 阿拉伯文码表，U+0600 至 U+06FF（2026-11-15 查阅）](https://www.unicode.org/charts/PDF/U0600.pdf)
