BroadRouter

阿拉伯语 RAG:真正有效的规范化、分块与检索

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于

阿拉伯语 RAG 要做好,需要在建索引前规范化文本(统一 alef 写法、ya 与 alef maqsura、ta marbuta,去掉变音符号和 tatweel),按段落分块,把多语言嵌入模型和关键词检索结合起来,再让长上下文大模型根据检索到的段落作答并注明出处。查询也要用同样的规则规范化。

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

要让检索增强生成(RAG)在阿拉伯语上奏效,文档和查询要用同一套拼写规则规范化,按段落分块,同时用阿拉伯语关键词分析器和多语言嵌入模型检索,并让大模型只根据检索到的段落作答、注明出处。

RAG 原始论文给出的模式是先检索、再生成。阿拉伯语 RAG 的失败大多发生在前半段。用户输入 “الفاتوره”,索引里存的是 “الفاتورة”;政策里写 “إلغاء”,用户写 “الغاء”;嵌入模型主要用英语训练。把检索修好,大模型那部分往往就不用操心了。

阿拉伯语 RAG 流水线是什么样的?

  1. 提取PDF、网页和帮助中心文章中的文本。扫描版阿拉伯语 PDF 请见阿拉伯语 OCR 与视觉大模型对比。
  2. 规范化一份用于索引的文本副本。
  3. 分块按结构切分:标题和段落。
  4. 索引两次:一个关键词索引,一个向量索引。
  5. 检索用规范化后的查询分别检索两个索引,合并并重排序。
  6. 生成根据排名靠前的段落作答,并引用它们。

阿拉伯语文本该如何规范化以便检索?

阿拉伯语中同一个词可以有几种拼法,用户输入时也很少一致地加变音符号或 hamza。对索引副本和每个查询都用同一个函数规范化:

规则 字符 原因
统一 alef أ إ آ ٱ → ا 打字时常省略 hamza
Alef maqsura ى → ي 埃及人的输入习惯和随意拼写中很常见
Ta marbuta ة → ه 用户在词尾输入 ه
去掉变音符号 U+064B 至 U+0652、U+0670 大多数文本和查询都不标元音
去掉 tatweel ـ (U+0640) 装饰性的拉长
数字 ٠–٩ → 0–9 两种写法的数字都能匹配

可以用阿拉伯语文本规范化工具在你自己的文本上逐项试验,它还会生成对应的 Python 函数。

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

码位见 Unicode 阿拉伯文码表。两点提醒:

  • **永远不要展示规范化后的文本。**把原文存在旁边,展示、引用和发送给大模型的都用原文。规范化后的阿拉伯语在读者看来像是拼错了。
  • **有些合并会丢失含义。**ة → ه 会合并少数词对,ى → ي 会把 “على”(在……上)和 “علي”(阿里)合并。为了检索召回率,这种取舍通常值得;请用你自己的查询测试。

同样的规则也是衡量阿拉伯语语音识别准确率的核心,所以整个技术栈可以复用同一个函数。

阿拉伯语文档该如何分块?

  • **按结构切分。**标题、合同中带编号的条款(المادة ١، المادة ٢)和段落分隔都是天然的边界。
  • **每块几百个词,**重叠一两句话。阿拉伯语单词承载的语素比英语单词多,所以按词数算,一个分块覆盖的含义比看上去更多。
  • **句子边界:**只有万不得已才按 . ؟ ! 和阿拉伯语逗号 ، 切分。许多阿拉伯语文本用 و 连接成长句,所以按段落切分更稳妥。
  • **携带上下文。**在每个分块前加上阿拉伯语的文档标题和章节标题,这样写着 “تُطبَّق هذه الرسوم”(这些费用适用)的分块仍能说明是哪些费用。

RAG 分块计算器可以把分块大小、重叠和 top-k 换算成分块数量、每次查询的 token 数和月度费用。

为什么要把关键词检索和嵌入结合起来?

关键词检索

阿拉伯语的形态变化会让简单的关键词匹配失效:كتاب、الكتاب、بالكتاب、وكتابه 和 كتب 都和“书”有关。要用能处理阿拉伯语的分析器。Elasticsearch 自带一个 Arabic 语言分析器,依次串联阿拉伯语停用词、数字规范化、阿拉伯语规范化和阿拉伯语词干提取器,因此 الكتاب 和 وكتاب 这类带前缀的形式更常能匹配上。在依赖它之前,先用你自己的词汇检查它会合并哪些词。

嵌入

嵌入模型把文本映射成向量,让含义相近的段落即使没有共同的词也挨得很近。对于阿拉伯语,选择多语言模型并加以测试:

  • **优先选用多语言训练的模型,**比如 BGE M3,其作者称它支持 100 多种工作语言。纯英语模型给出的阿拉伯语向量质量很差。
  • **测试跨语言检索,**如果用户用英语询问阿拉伯语文档,或者反过来。
  • **嵌入原文或规范化文本都可以,但文档和查询要保持一致。**两种都测一下,结果因模型而异。

BroadNet Inference 不提供嵌入接口:它文档中的接口只有对话补全和音频转写。请使用你信任的嵌入服务商,或者在向量数据库旁自托管开源的多语言嵌入模型,生成交给 BroadNet。嵌入费用计算器可以按服务商计算建索引和查询的费用。

合并与重排序

两种检索都跑一遍,用倒数排名融合(reciprocal rank fusion,每个文档的得分是它在各列表中 1 / (k + 排名) 之和)合并结果,保留前 10 到 30 个段落。重排序模型或者一次快速的大模型相关性检查可以再精简一些,但用长上下文模型时,这一步往往可以省掉。

如何生成带引用的回答?

把带编号的段落交给模型,要求它只根据这些段落作答:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

这段阿拉伯语系统提示词的意思是:“用简明的现代标准阿拉伯语回答用户的问题,只依据所附段落。在每条信息后用方括号注明段落编号。如果在段落中找不到答案,就明确说明。”用英文写指令效果一样;关键是“只根据段落作答并注明出处”这条规则。

把段落放在问题前面。如果同样的文档出现在很多请求中,让它们按相同顺序放在提示词开头,这样就能按缓存输入价计费;参见缓存输入 token。

用哪个模型?

模型 上下文 原因
DeepSeek V4.1 Flash 1,048,576 在 BroadNet 上这三个模型中缓存输入价最低(每百万 token $0.0055),能放下大量段落,还有固定价格套餐
GLM 5.3 1,048,576 支持工具调用和结构化输出,适合智能体式检索
Qwen3.8 27B 262,144 BroadNet 做过阿拉伯语测试:写作流畅,能理解海湾方言和埃及方言

有了百万 token 的上下文,你可以放宽检索数量,比如取 50 个段落而不是 5 个,让模型自己挑选。这样即使检索把正确段落排在第 12 位,损失也会小一些。对于小型文档集,你可能根本不需要检索;请看长上下文与 RAG 对比,并用上下文窗口计算器检查你的语料能否放得下。所有模型的价格见价格页面。

如何评估阿拉伯语 RAG?

  1. 写 50 到 100 个真实问题,按用户实际输入的比例混合 MSA、方言和英语。
  2. 为每个问题标出能回答它的段落。
  3. 先衡量检索:正确段落是否在前 10 名?对比仅关键词、仅嵌入和混合检索,分别在有无规范化的情况下测试。
  4. 再衡量回答:是否正确、是否注明出处,答案缺失时是否回答“未找到”。
  5. 有意加入拼错的查询和方言查询。用户会写 “وين الفاتوره”(海湾/黎凡特方言:发票在哪),而不是 “أين الفاتورة”。

在更换生成模型之前,先把检索修好:如果正确的段落始终进不了提示词,任何模型都无法引用它。

常见问题

BroadNet Inference 提供嵌入接口吗?

不提供。它文档中的接口只有对话补全和音频转写。请使用其他服务商的嵌入模型,或自己运行开源的多语言嵌入模型,生成这一步交给 BroadNet。

ta marbuta 要规范化成 ha 吗?

做检索时通常要,因为用户两种都会输入。这会合并少数本来不同的词,但在大多数语料中,召回率的提升更划算。展示和引用时保留原文。

阿拉伯语分块该多大?

从一到三个段落、几百个词开始,加少量重叠。按标题和段落切分,不要在句子中间切,并让每个分块都带上文档标题。

哪个嵌入模型适合阿拉伯语?

用多语言模型,并用你自己的阿拉伯语查询测试。例如 BGE M3 的作者称其支持 100 多种工作语言的检索。纯英语的嵌入模型给出的阿拉伯语向量质量很差。

用户用英文搜索,能找到阿拉伯语文档吗?

可以。用能把两种语言映射到同一向量空间的多语言嵌入模型,或者在关键词检索前先用大模型翻译查询。要专门测试跨语言查询。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity