BroadRouter

Arabizi 与大模型:处理用 3、7 等数字书写的拉丁化阿拉伯语

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

Arabizi 也叫 Franco-Arabic,是用拉丁字母书写的阿拉伯语,拉丁字母里没有的音用数字表示:3 表示 ع,7 表示 ح,2 表示 ء,5 表示 خ。大模型通常能看懂它,但转换结果不稳定。先识别它,再让模型在指明方言的前提下转写成阿拉伯字母,然后处理阿拉伯语文本。

Arabizi 也叫 Franco-Arabic 或“Franco”,是用拉丁字母书写的阿拉伯语,拉丁字母里没有的音用数字表示,比如 3 表示 ع,7 表示 ح。要用大模型处理它,先识别出来,再让模型在指明方言的前提下把它转换成阿拉伯字母,流水线的其余部分都在阿拉伯语文本上运行。

“ana 3ayez a7gez ma3ad bokra”在埃及是一条再普通不过的客户消息:“أنا عايز أحجز ميعاد بكرة”(我想预约明天的时间)。它诞生于没有阿拉伯语键盘的手机和电脑,至今仍出现在聊天中。

哪些数字代表哪些阿拉伯字母?

没有统一标准,但数字被用来表示与之形状相似、或在拉丁字母中没有对应的阿拉伯字母。阿拉伯语聊天字母概述列出了常见惯例:

数字 阿拉伯字母 示例 阿拉伯字母写法 意思
2 ء(hamza)/ أ so2al سؤال 问题
3 ع 3arabi عربي 阿拉伯语
3’ 或 8 غ 8aly / 3’aly غالي 贵
5 或 kh خ 5alas خلاص 好了 / 够了
6 ط 6ayeb طيب 好的(海湾)
7 ح 7abibi حبيبي 亲爱的
9 ص 9ba7 صباح 早上(海湾)
8 ق(部分地区) 8alb قلب 心

各地习惯不同。例如该概述指出,用 8 表示 غ 只在黎巴嫩使用,而在沙特,用 8 和 9 表示 ق 很常见;在埃及 Arabizi 中,ق 读作声门塞音时可以用 2 表示。元音按听感书写,所以“ma3lesh”“ma3lsh”和“m3lsh”(معلش,没关系)都是同一个词。

为什么 Arabizi 对软件来说很难?

  • **它几乎总是方言。**人们按说话的方式写 Arabizi,所以方言的所有难题它一应俱全,却没有阿拉伯字母作为锚点。
  • 它看起来像英语或法语。“bas”在阿拉伯语里是 بس(但是 / 只是),在英语里什么都不是;“men”是 من(来自 / 谁)。关键词检测器和语言识别工具经常把 Arabizi 标为英语或其他拉丁字母语言。
  • **没有标准拼写。**精确匹配搜索、意图规则和统计分析都会失效。
  • 语码转换。“el order bta3i lessa ma waslsh, can u check?”在一句话里混合了埃及 Arabizi 和英语。

基于规则的转换器很吃力,因为一个拉丁字符串可能对应许多种阿拉伯语拼写;Darwish 关于 Arabizi 识别与转换的研究等系统结合了音译挖掘和语言模型来选出正确的词,报告的转换准确率为 88.7%。现代大模型实际上一步就完成了这件事。

大模型处理 Arabizi 效果如何?

大模型在网页和社交媒体文本中见过 Arabizi,所以常见说法通常能看懂。结果因模型和方言而异,正式依赖之前要先测试。典型的失败模式:

  1. 把它当成英语,然后针对误读的消息作答。
  2. 转换成错误的方言,比如把埃及方言“转换”成改变语气的 MSA 词汇,或者用户是黎巴嫩人却猜成海湾方言。
  3. 输出文字不一致,这条消息用 Arabizi 回复,下一条又用阿拉伯字母。
  4. 在人名和地名上虚构精确度,而它们的拉丁拼写本身就有歧义。

解决办法和处理方言时一样:告诉模型会遇到什么、要输出什么。

怎样用大模型把 Arabizi 转换成阿拉伯字母?

先把 Arabizi 转换成阿拉伯字母,再在阿拉伯语文本上运行流水线的其余部分(检索、路由、回复)。这样只需一条代码路径,检索和统计分析也能正常工作。

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

一个好的结果:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

关于这个设计的几点说明:

  • **保留方言词。**要求“the message in Arabic script, keeping the dialect words”(用阿拉伯字母写出消息,保留方言词),可以避免它被悄悄改写成 MSA,那样会损失路由和情感分析所需的含义。
  • **保留原文。**把原始消息和转换结果存在一起,用于审计和重新训练规则。
  • **用低成本的预过滤。**一个简单的检查(单词内部同时有拉丁字母和数字 2、3、5、6、7、8 或 9,如下面的正则表达式所示)就能在花费大模型调用之前抓住大多数 Arabizi。纯阿拉伯语或纯英语的消息可以跳过转换。如需更严格的输出,配合 schema 使用结构化输出。
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

这个提示规则会漏掉不含数字的 Arabizi(“ana mesh fahem”,我不明白),也会被“a7x”这样的产品编号误触发;把它当作省钱手段,而不是分类器。真正做决定的是大模型返回的 script 字段。

回复应该用哪种文字?

按产品决定,而不是按消息决定:

回复用 适用场景
阿拉伯字母(MSA 或轻度方言) 大多数企业的默认选择;人人都能读懂
英语 你的客服语言是英语,或客户的消息以英语为主
Arabizi 想贴合客户风格的年轻品牌;请母语者审核样本

自动照搬 Arabizi,往往会写出母语用户看着别扭的拼写,因为没有标准可循。如果确实要照搬,请给模型提供你偏好的拼写示例。关于设定语体和文字的更多内容,请看阿拉伯语提示词工程。

处理 Arabizi 该用哪个模型?

从你的渠道收集 50 到 100 条真实的 Arabizi 消息,为每条写出正确的阿拉伯字母版本和意图,然后先按意图准确率、再按转换质量给候选模型打分。BroadNet 报告,在其测试中 Qwen3.8 27B 能理解海湾和埃及方言,并能写出流畅的阿拉伯语;它没有公布专门针对 Arabizi 的结果,所以请用你的消息测试。DeepSeek V4.1 Flash 每个输出 token 更便宜,BroadNet Gemma 4 VL 26B 是 BroadNet 上最便宜的模型,适合做大批量的预分类步骤。价格见价格页面。拉丁字母的 Arabizi 和阿拉伯字母的分词方式不同,所以估算成本之前,先把几条消息的两个版本都粘贴到免费的 token 计数器里。

Arabizi 会出现在哪里?

  • **WhatsApp 和社交媒体私信:**主要来源。参见阿拉伯语 WhatsApp 聊天机器人架构。
  • **搜索框:**用户会输入“7agz”(حجز,预订)。在做阿拉伯语 RAG 检索之前,用同样的步骤把查询归一化。
  • **只要传了语言参数,就不会来自语音转文字。**Arabizi 是人打出来的。如果阿拉伯语音频的转写结果是拉丁字母,很可能是请求里缺少 language=ar;BroadNet 的文档提醒,否则阿拉伯语可能会被音译。参见 WhatsApp 语音消息指南。

常见问题

Arabizi 和 Franco-Arabic 是一回事吗?

是。Arabizi、Franco-Arabic、Franco 和阿拉伯语聊天字母,指的都是用拉丁字母和数字书写阿拉伯语的同一种做法。叫法因国家而异;在埃及常说“Franco”。

聊天机器人应该用 Arabizi 回复吗?

通常不应该。按照你的品牌风格,用阿拉伯字母或英语回复。有些面向年轻人的品牌确实用 Arabizi 回复,但要请母语者检查拼写看起来是否自然。

能用正则表达式把 Arabizi 转换成阿拉伯语吗?

不可靠。元音随意省略或添加,同样的拉丁字母会根据上下文对应不同的阿拉伯字母。规则有助于识别;转换需要语言模型。

阿拉伯语聊天里的 3 是什么意思?

在 Arabizi 中,3 代表字母 ع(ayn),比如“3arabi”就是 عربي(阿拉伯语)。其他常见数字有:2 表示 ء,5 表示 خ,7 表示 ح,9 表示 ص。

为什么我的转写结果是拉丁字母?

那是语音模型做的音译,不是用户打出来的 Arabizi。每个阿拉伯语转写请求都带上 language=ar,就能得到阿拉伯字母。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity