BroadRouter

如何为多语言用户设计 AI 产品体验

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于

保存两个设置:界面语言(locale)和内容语言,且绝不从一个推断另一个。按 locale 设置文字方向,用 dir="auto" 或 bdi 隔离用户和模型的文本,按 locale 格式化数字和日期,输入时统一数字,把语言检测当作参考,并按语言分别评估质量和成本。

面向阿拉伯语、英语和西班牙语用户的 AI 功能,其实是共用一套代码的三个产品。阿拉伯语需要整个屏幕翻转方向,消息里一行就混着几种文字,数字和日期的写法随地区变化,模型可能用错语言回答,而每种语言的成本也不一样。这些问题大多源于同一个设计错误:把“语言”当成一个设置。

本文讲产品和界面层面。翻译应用自身的字符串(占位符、复数、ICU 消息)见用大模型把应用字符串翻译成阿拉伯语;提示词怎么写见阿拉伯语提示词工程。

为什么要把界面语言和模型语言分开?

因为它们回答的是不同的问题。界面语言(locale)(ar-SA、en-US、es-MX)决定布局方向、按钮上的文字,以及数字和日期的显示方式。内容语言是某条消息、某份文档或某段录音的语言,它决定你让模型做什么。

两者经常不一致。使用阿拉伯语界面的沙特用户粘贴了一份英文合同;西班牙语用户上传了一张阿拉伯语发票照片;双语客服在对话中途切换语言(语码转换)。如果代码因为界面是阿拉伯语就发送“用阿拉伯语回答”,那份英文合同就会得到一份没人想要的阿拉伯语摘要。

所以,按用户、按消息把两者都存下来:

  • ui_locale:由用户选择,默认取浏览器语言。
  • answer_language:用户明确选过就用用户的选择,否则用检测到的消息语言。
  • 音频还需要 audio_language:即传给转写模型的语言。BroadNet 的 API 参考要求转写请求始终带上 language,否则阿拉伯语可能以拉丁字母返回。

如何支持从右到左和混合方向的文本?

根据 W3C 的指南,分三层处理:

  1. **按 locale 设置页面方向。**阿拉伯语在 html 元素上设置 dir="rtl" 和 lang="ar"。W3C 建议不要用 CSS 设置基础方向,并且外边距、内边距和对齐要用逻辑值(start 和 end),而不是 left 和 right。
  2. **使用逻辑 CSS。**用 margin-inline-start 代替 margin-left,用 text-align: start 代替 left。MDN 把逻辑属性描述为 “through logical rather than physical direction”(译文:通过逻辑方向而非物理方向)来控制布局。这样一份样式表就能同时服务两个方向。
  3. **隔离不是你写的文本。**用户消息、模型回答、产品名称和订单号都有自己的方向。W3C 的规则是:如果不知道运行时插入的文本是什么方向,就给包住它的元素加 dir="auto",或者把它包在 bdi 元素里。不做隔离的话,阿拉伯语句子末尾的英文订单号可能跳到错误的一侧,标点也会出现在奇怪的位置。

对聊天界面来说,这意味着每个消息气泡都要加 dir="auto",因为每条消息根据自己的第一个强方向字符确定方向;你自己的界面字符串中出现的名称和代码,要用 bdi 包起来。在没有标记的地方(推送通知、短信、CSV 导出),Unicode 双向算法的隔离符可以起到同样的作用:文本前加 U+2068 FIRST STRONG ISOLATE,文本后加 U+2069 POP DIRECTIONAL ISOLATE。

模型输出还多一种情况:Markdown。用阿拉伯语回答的模型可能包含英文代码、URL 或表格单元格。代码块要显式用 dir="ltr" 渲染,每个段落和表格单元格加 dir="auto"。

数字和日期应如何按 locale 区分?

交给平台去格式化,并测试它实际输出什么。我们在 Node 24.22.1(ICU 78.3,CLDR 48)中用 Intl.NumberFormat 和 Intl.DateTimeFormat 格式化了 1234.5 和 2026 年 11 月 15 日:

Locale 数字 日期(长格式) 方向
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

有四点值得注意。阿拉伯语各 locale 的数字不同:沙特默认用阿拉伯-印度数字,阿联酋默认用西方数字,而 -u-nu-latn 扩展(见 MDN 的 numberingSystem)可以把某个 locale 切换为西方数字。西班牙语因地区而异:西班牙用逗号作小数点,四位数不加千位分隔符;墨西哥用点。阿拉伯世界的月份名称也不统一:ar-MA 把十一月输出为 نونبر,而 ar-SA 输出 نوفمبر。另外,浏览器自带各自的 ICU 版本,所以要在目标浏览器里跑同样的检查。

复数遵循 CLDR 规则:ar 的 Intl.PluralRules 对 0、1、2、3、11 和 100 返回了六个类别(zero、one、two、few、many、other),而英语和西班牙语对这些数字只返回 one 和 other。字符串方面的处理见应用字符串一文。

输入端两种数字写法都要接受。用户可能在数量字段里输入 ١٢٣٤;解析之前先统一成 ASCII 数字;如果提示词里要比较数字,发送给模型之前也要先统一。

能检测每条消息的语言吗?

能做到一部分。区分阿拉伯文字和拉丁文字既简单又可靠:统计阿拉伯语 Unicode 区块中的字符即可。区分英语和西班牙语,或识别很短的消息,就需要训练好的模型。fastText 发布了两个支持 176 种语言的语言识别模型(lid.176.bin,126 MB;压缩版 lid.176.ftz,917 kB)。

下面是实现上述决策的一个小辅助模块。检测器故意写得很简单,用来说明简单方法会在哪里失效。

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

我们在 Node 24 中运行了它。它把 وين طلبي؟ 判为 ar,“¿Dónde está mi pedido?” 判为 es,“Where is my order?” 判为 en,一个包含订单号 ORD-5521 的阿拉伯语句子判为 ar。“ok” 返回 und,提示词里正确地回退为 “the language of the user’s message”(用户消息的语言)。而 “ana 3ayez a3raf el order fen”,即用拉丁字母书写的埃及阿拉伯语(Arabizi),返回了 es,因为单词 “el” 看起来像西班牙语。这就是启发式方法的真实结果。如果你的用户会写 Arabizi,请像处理 Arabizi 一文那样显式检测它并当作阿拉伯语处理,同时让用户一键更正回答语言。

数字辅助函数把 ٢٠٢٦-١١-١٥ 转成了 2026-11-15;isolate() 在包裹之前先转义 HTML,所以像 Acme <Ltd> 这样的公司名无法注入标记。

切换语言时还有哪些变化?

  • **文本长度。**翻译后的界面文本通常更长。W3C 引用的 IBM 指南预计,10 个字符以内的英文字符串译成欧洲语言后会变为原长度的 200%–300%,超过 70 个字符的字符串约为 130%。按钮和标签要设计成可以换行,并在窄屏宽度下测试西班牙语版本。
  • **字体。**选择带有配套阿拉伯语设计的字体家族,并检查阿拉伯语行高:变音符号在上下方都需要空间。
  • **搜索和匹配。**阿拉伯语文本在匹配前需要规范化(变音符号、alef 的不同形式、tatweel)。阿拉伯语文本规范化工具展示了每条规则。
  • **语音。**按音频的语言选择转写模型,而不是按界面语言。BroadNet 提供一个阿拉伯语模型和一个支持 14 种语言(包括英语、西班牙语和阿拉伯语)的模型;其多语言模型页面说明,阿拉伯语音频应选择阿拉伯语模型。多语言语音转文字一文比较了这些选项。
  • 方言。“阿拉伯语”不是单一目标。利雅得、开罗和卡萨布兰卡的用户写法各不相同;需要测试什么,见海湾和埃及方言。

如何按语言评估和做预算?

分开做。一个合并分数会掩盖表现差的语言,一个合并预算会掩盖昂贵的语言。

用真实消息为每种语言构建一个小型评估集,由母语者标注预期答案。检查回答是否使用了要求的语言,名称、数字和代码是否原样保留,以及你服务的每种方言质量是否达标。更换模型或提示词时运行同一个评估集;方法见切换前评估大模型。

成本方面,token 数随语言和分词器而不同。在 BroadRouter 的实测数据集中,同一段现代标准阿拉伯语文本所需的 token 数,是其英文译文的 1.31×(Qwen3.8 27B)到 1.77×(GLM 5.3)。各语言的真实成本把这些 token 数换算成各模型的费用,也包括西班牙语;阿拉伯语 token 计数器可以测量你自己的文本。为每个请求记录 token 数并附上内容语言,你就能看到每个用户在每种语言上的成本,而不只是每月总额。

最后,上线前请母语者审校。机器翻译和模型输出产生的阿拉伯语和西班牙语,可能语法正确却不适合你的受众。用自己母语使用产品的审校者,能发现任何测试都发现不了的问题。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 的模型比较适合阿拉伯语、英语和西班牙语产品:BroadNet 报告称已用阿拉伯语测试 Qwen3.8 27B,包括对海湾和埃及方言的理解;Gemma 4 VL 26B 可以用 $5 初始额度运行;转写覆盖阿拉伯语(BroadNet Transcribe Arabic,每分钟 $0.0042)以及包括英语和西班牙语在内的 14 种语言(BroadNet Transcribe,每分钟 $0.002)。推理内容不会保留;必要的账户、账单和安全元数据会按 BroadNet 隐私声明中的说明保留。无论你用哪个 API,本文中关于布局、方向、格式化和检测的内容都是你的应用自己要做的事。

常见问题

AI 应该用界面语言回答,还是用用户的语言回答?

默认使用用户消息的语言,并允许用户手动更改。界面语言只决定屏幕怎么排版。一个使用阿拉伯语界面、却用英文输入的用户,通常想要英文回答。

怎样在阿拉伯语聊天气泡里正确显示英文?

给每个消息元素加 dir="auto",让浏览器根据第一个强方向字符确定方向,并把插入的名称、代码和 URL 包在 bdi 元素里。纯文本中则用 U+2068 FIRST STRONG ISOLATE 和 U+2069 POP DIRECTIONAL ISOLATE 把它们包起来。

阿拉伯语用户应该看到阿拉伯-印度数字吗?

取决于地区和你的用户。在我们的 Node 24 测试中,ar-SA 和 ar-EG 默认使用阿拉伯-印度数字,ar-AE 和 ar-MA 默认使用西方数字。按 locale 选择、提供设置项,并在输入端先统一数字再解析,两种写法都接受。

怎样检测一条聊天消息的语言?

区分阿拉伯文字和拉丁文字,统计阿拉伯语 Unicode 区块中的字符就够了。要区分英语和西班牙语,或处理很短、混合的消息,请用训练好的语言识别模型,例如 fastText 的 lid.176,并且仍把结果当作参考。

用大模型 API 时,阿拉伯语比英语更贵吗?

按每条消息算,往往更贵,因为很多分词器表达同样的阿拉伯语内容需要更多 token。比例取决于模型的分词器。请用你自己的文本测量,并为每种语言单独做预算。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity