要让检索增强生成(RAG)在阿拉伯语上奏效,文档和查询要用同一套拼写规则规范化,按段落分块,同时用阿拉伯语关键词分析器和多语言嵌入模型检索,并让大模型只根据检索到的段落作答、注明出处。
RAG 原始论文给出的模式是先检索、再生成。阿拉伯语 RAG 的失败大多发生在前半段。用户输入 “الفاتوره”,索引里存的是 “الفاتورة”;政策里写 “إلغاء”,用户写 “الغاء”;嵌入模型主要用英语训练。把检索修好,大模型那部分往往就不用操心了。
阿拉伯语 RAG 流水线是什么样的?
- 提取PDF、网页和帮助中心文章中的文本。扫描版阿拉伯语 PDF 请见阿拉伯语 OCR 与视觉大模型对比。
- 规范化一份用于索引的文本副本。
- 分块按结构切分:标题和段落。
- 索引两次:一个关键词索引,一个向量索引。
- 检索用规范化后的查询分别检索两个索引,合并并重排序。
- 生成根据排名靠前的段落作答,并引用它们。
阿拉伯语文本该如何规范化以便检索?
阿拉伯语中同一个词可以有几种拼法,用户输入时也很少一致地加变音符号或 hamza。对索引副本和每个查询都用同一个函数规范化:
| 规则 | 字符 | 原因 |
|---|---|---|
| 统一 alef | أ إ آ ٱ → ا | 打字时常省略 hamza |
| Alef maqsura | ى → ي | 埃及人的输入习惯和随意拼写中很常见 |
| Ta marbuta | ة → ه | 用户在词尾输入 ه |
| 去掉变音符号 | U+064B 至 U+0652、U+0670 | 大多数文本和查询都不标元音 |
| 去掉 tatweel | ـ (U+0640) | 装饰性的拉长 |
| 数字 | ٠–٩ → 0–9 | 两种写法的数字都能匹配 |
可以用阿拉伯语文本规范化工具在你自己的文本上逐项试验,它还会生成对应的 Python 函数。
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
码位见 Unicode 阿拉伯文码表。两点提醒:
- **永远不要展示规范化后的文本。**把原文存在旁边,展示、引用和发送给大模型的都用原文。规范化后的阿拉伯语在读者看来像是拼错了。
- **有些合并会丢失含义。**ة → ه 会合并少数词对,ى → ي 会把 “على”(在……上)和 “علي”(阿里)合并。为了检索召回率,这种取舍通常值得;请用你自己的查询测试。
同样的规则也是衡量阿拉伯语语音识别准确率的核心,所以整个技术栈可以复用同一个函数。
阿拉伯语文档该如何分块?
- **按结构切分。**标题、合同中带编号的条款(المادة ١، المادة ٢)和段落分隔都是天然的边界。
- **每块几百个词,**重叠一两句话。阿拉伯语单词承载的语素比英语单词多,所以按词数算,一个分块覆盖的含义比看上去更多。
- **句子边界:**只有万不得已才按 . ؟ ! 和阿拉伯语逗号 ، 切分。许多阿拉伯语文本用 و 连接成长句,所以按段落切分更稳妥。
- **携带上下文。**在每个分块前加上阿拉伯语的文档标题和章节标题,这样写着 “تُطبَّق هذه الرسوم”(这些费用适用)的分块仍能说明是哪些费用。
RAG 分块计算器可以把分块大小、重叠和 top-k 换算成分块数量、每次查询的 token 数和月度费用。
为什么要把关键词检索和嵌入结合起来?
关键词检索
阿拉伯语的形态变化会让简单的关键词匹配失效:كتاب、الكتاب、بالكتاب、وكتابه 和 كتب 都和“书”有关。要用能处理阿拉伯语的分析器。Elasticsearch 自带一个 Arabic 语言分析器,依次串联阿拉伯语停用词、数字规范化、阿拉伯语规范化和阿拉伯语词干提取器,因此 الكتاب 和 وكتاب 这类带前缀的形式更常能匹配上。在依赖它之前,先用你自己的词汇检查它会合并哪些词。
嵌入
嵌入模型把文本映射成向量,让含义相近的段落即使没有共同的词也挨得很近。对于阿拉伯语,选择多语言模型并加以测试:
- **优先选用多语言训练的模型,**比如 BGE M3,其作者称它支持 100 多种工作语言。纯英语模型给出的阿拉伯语向量质量很差。
- **测试跨语言检索,**如果用户用英语询问阿拉伯语文档,或者反过来。
- **嵌入原文或规范化文本都可以,但文档和查询要保持一致。**两种都测一下,结果因模型而异。
BroadNet Inference 不提供嵌入接口:它文档中的接口只有对话补全和音频转写。请使用你信任的嵌入服务商,或者在向量数据库旁自托管开源的多语言嵌入模型,生成交给 BroadNet。嵌入费用计算器可以按服务商计算建索引和查询的费用。
合并与重排序
两种检索都跑一遍,用倒数排名融合(reciprocal rank fusion,每个文档的得分是它在各列表中 1 / (k + 排名) 之和)合并结果,保留前 10 到 30 个段落。重排序模型或者一次快速的大模型相关性检查可以再精简一些,但用长上下文模型时,这一步往往可以省掉。
如何生成带引用的回答?
把带编号的段落交给模型,要求它只根据这些段落作答:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
这段阿拉伯语系统提示词的意思是:“用简明的现代标准阿拉伯语回答用户的问题,只依据所附段落。在每条信息后用方括号注明段落编号。如果在段落中找不到答案,就明确说明。”用英文写指令效果一样;关键是“只根据段落作答并注明出处”这条规则。
把段落放在问题前面。如果同样的文档出现在很多请求中,让它们按相同顺序放在提示词开头,这样就能按缓存输入价计费;参见缓存输入 token。
用哪个模型?
| 模型 | 上下文 | 原因 |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | 在 BroadNet 上这三个模型中缓存输入价最低(每百万 token $0.0055),能放下大量段落,还有固定价格套餐 |
| GLM 5.3 | 1,048,576 | 支持工具调用和结构化输出,适合智能体式检索 |
| Qwen3.8 27B | 262,144 | BroadNet 做过阿拉伯语测试:写作流畅,能理解海湾方言和埃及方言 |
有了百万 token 的上下文,你可以放宽检索数量,比如取 50 个段落而不是 5 个,让模型自己挑选。这样即使检索把正确段落排在第 12 位,损失也会小一些。对于小型文档集,你可能根本不需要检索;请看长上下文与 RAG 对比,并用上下文窗口计算器检查你的语料能否放得下。所有模型的价格见价格页面。
如何评估阿拉伯语 RAG?
- 写 50 到 100 个真实问题,按用户实际输入的比例混合 MSA、方言和英语。
- 为每个问题标出能回答它的段落。
- 先衡量检索:正确段落是否在前 10 名?对比仅关键词、仅嵌入和混合检索,分别在有无规范化的情况下测试。
- 再衡量回答:是否正确、是否注明出处,答案缺失时是否回答“未找到”。
- 有意加入拼错的查询和方言查询。用户会写 “وين الفاتوره”(海湾/黎凡特方言:发票在哪),而不是 “أين الفاتورة”。
在更换生成模型之前,先把检索修好:如果正确的段落始终进不了提示词,任何模型都无法引用它。

