BroadRouter

Como projetar uma experiência de IA em vários idiomas

Pela equipe da BroadNet Inference · 7 min de leitura · Publicado em

Guarde duas configurações, o locale da interface e o idioma do conteúdo, e nunca deduza uma da outra. Defina a direção a partir do locale, isole o texto do usuário e do modelo com dir="auto" ou bdi, formate números e datas pelo locale, normalize os dígitos na entrada, trate a detecção de idioma como pista e avalie qualidade e custo por idioma.

Um recurso de IA para usuários de árabe, inglês e espanhol são três produtos dividindo uma única base de código. A tela precisa inverter a direção para o árabe. As mensagens misturam alfabetos na mesma linha. Números e datas mudam de forma conforme a região. O modelo pode responder no idioma errado, e cada idioma custa um valor diferente. A maioria desses problemas vem de um único erro de design: tratar “o idioma” como uma configuração só.

Este post trata do lado de produto e interface. A tradução das strings do seu próprio app (placeholders, plurais, mensagens ICU) está em traduzir strings de app para árabe com um LLM; a redação dos prompts está em engenharia de prompt em árabe.

Por que separar o locale da interface do idioma do modelo?

Porque eles respondem a perguntas diferentes. O locale da interface (ar-SA, en-US, es-MX) decide a direção do layout, o idioma dos botões e a aparência de números e datas. O idioma do conteúdo é o idioma de uma mensagem, documento ou gravação específica, e decide o que você pede ao modelo.

Os dois divergem o tempo todo. Um usuário saudita com interface em árabe cola um contrato em inglês. Um usuário espanhol envia a foto de uma fatura em árabe. Um atendente bilíngue troca de idioma no meio da conversa (code-switching). Se o código envia “responda em árabe” porque a interface está em árabe, o contrato em inglês ganha um resumo em árabe que ninguém pediu.

Então guarde os dois, por usuário e por mensagem:

  • ui_locale: escolhido pelo usuário, com padrão no idioma do navegador.
  • answer_language: a escolha explícita do usuário, se houver; caso contrário, o idioma detectado na mensagem.
  • Para áudio, audio_language: o que você passa ao modelo de transcrição. A referência da API da BroadNet diz para sempre enviar language em uma requisição de transcrição, ou o árabe pode voltar em letras latinas.

Como dar suporte a texto da direita para a esquerda e de direção mista?

Em três camadas, seguindo as orientações do W3C:

  1. Direção da página a partir do locale. Defina dir="rtl" e lang="ar" no elemento html para o árabe. O W3C diz para não usar CSS para definir a direção base e para usar valores lógicos (start e end) em margens, padding e alinhamento em vez de left e right.
  2. CSS lógico. margin-inline-start em vez de margin-left, text-align: start em vez de left. O MDN descreve as propriedades lógicas como um controle de layout “through logical rather than physical direction” (tradução: pela direção lógica em vez da física). Assim, uma única folha de estilo atende às duas direções.
  3. Isole o texto que você não escreveu. Mensagens de usuários, respostas do modelo, nomes de produtos e códigos de pedido têm direção própria. A regra do W3C: se você não sabe a direção do texto inserido em tempo de execução, adicione dir="auto" ao elemento que o envolve ou coloque-o em um elemento bdi. Sem isolamento, um código de pedido em inglês no fim de uma frase em árabe pode pular para o lado errado, e a pontuação vai parar em lugares estranhos.

Em uma interface de chat, isso significa dir="auto" em cada balão de mensagem, já que cada mensagem pega a direção do seu primeiro caractere forte, e bdi em volta de nomes e códigos dentro das strings da sua interface. Onde não há marcação (notificações push, SMS, exportações CSV), os isolamentos do Unicode Bidirectional Algorithm fazem o mesmo trabalho: U+2068 FIRST STRONG ISOLATE antes do texto e U+2069 POP DIRECTIONAL ISOLATE depois.

A saída do modelo acrescenta mais um caso: Markdown. Um modelo respondendo em árabe pode incluir código, URLs ou células de tabela em inglês. Renderize os blocos de código com dir="ltr" explícito e dê dir="auto" a cada parágrafo e célula de tabela.

Como números e datas devem variar por locale?

Deixe a plataforma formatar e teste o que ela realmente produz. Rodamos Intl.NumberFormat e Intl.DateTimeFormat no Node 24.22.1 (ICU 78.3, CLDR 48) para 1234.5 e 15 de novembro de 2026:

Locale Número Data (longa) Direção
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

Quatro pontos de atenção. Os locales árabes divergem nos dígitos: a Arábia Saudita usa por padrão os arábico-índicos, os Emirados os ocidentais, e a extensão -u-nu-latn (veja numberingSystem no MDN) muda um locale para dígitos ocidentais. O espanhol varia por região: a Espanha usa vírgula decimal e, para um número de quatro dígitos, nenhum separador de milhar; o México usa ponto. Os nomes dos meses também variam no mundo árabe: ar-MA imprimiu نونبر para novembro, onde ar-SA imprimiu نوفمبر. E os navegadores trazem suas próprias versões do ICU, então rode as mesmas verificações nos navegadores que você atende.

Os plurais seguem as regras do CLDR: Intl.PluralRules para ar retornou seis categorias para 0, 1, 2, 3, 11 e 100 (zero, one, two, few, many, other), enquanto inglês e espanhol retornaram só one e other para esses números. O lado das strings está no post sobre strings de app.

Na entrada, aceite as duas formas de dígitos. Um usuário pode digitar ١٢٣٤ em um campo de quantidade; normalize para dígitos ASCII antes do parsing, e antes de enviar números ao modelo se seus prompts os comparam.

Dá para detectar o idioma de cada mensagem?

Em parte. Distinguir o alfabeto árabe do latino é fácil e confiável: conte os caracteres do bloco Unicode árabe. Distinguir inglês de espanhol, ou interpretar mensagens muito curtas, exige um modelo treinado. O fastText publica dois modelos de identificação de idioma para 176 idiomas (lid.176.bin, 126 MB, e o compactado lid.176.ftz, 917 kB).

Aqui está um pequeno módulo auxiliar para as decisões acima. O detector é simples de propósito, para mostrar onde o simples falha.

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

Rodamos no Node 24. Ele classificou وين طلبي؟ como ar, “¿Dónde está mi pedido?” como es, “Where is my order?” como en e uma frase em árabe com o código ORD-5521 como ar. “ok” voltou como und, o que no prompt cai corretamente em “o idioma da mensagem do usuário”. E “ana 3ayez a3raf el order fen”, árabe egípcio em letras latinas (Arabizi), voltou como es, porque a palavra “el” parece espanhol. Para uma heurística, esse é o resultado honesto. Se seus usuários escrevem em Arabizi, detecte isso explicitamente e trate como árabe, como em lidando com Arabizi, e deixe o usuário corrigir o idioma da resposta com um toque.

O auxiliar de dígitos transformou ٢٠٢٦-١١-١٥ em 2026-11-15, e isolate() escapou o HTML antes de envolver o texto, então um nome de empresa como Acme <Ltd> não consegue injetar marcação.

O que mais muda quando o idioma muda?

  • Tamanho do texto. O texto traduzido da interface costuma ser mais longo. O W3C cita diretrizes da IBM segundo as quais strings em inglês de até 10 caracteres crescem para 200–300% do tamanho em idiomas europeus, e strings com mais de 70 caracteres para cerca de 130%. Projete botões e rótulos para quebrar linha e teste a versão em espanhol em larguras estreitas.
  • Fontes. Escolha uma família tipográfica com um design árabe correspondente e confira a altura de linha do árabe: os sinais diacríticos precisam de espaço acima e abaixo.
  • Busca e correspondência. Texto em árabe precisa de normalização antes da comparação (diacríticos, formas de alef, tatweel). O normalizador de texto árabe mostra cada regra.
  • Voz. Escolha o modelo de transcrição pelo idioma do áudio, não da interface. A BroadNet lista um modelo para árabe e um modelo de 14 idiomas que cobre inglês, espanhol e árabe; a página do modelo multilíngue diz para escolher o modelo árabe para áudio em árabe. O post sobre fala para texto multilíngue compara as opções.
  • Dialeto. “Árabe” não é um alvo único. Usuários de Riad, do Cairo e de Casablanca escrevem de forma diferente; dialetos do Golfo e egípcio mostra o que testar.

Como avaliar e orçar cada idioma?

Separadamente. Uma nota única esconde um idioma fraco, e um orçamento único esconde um idioma caro.

Monte um pequeno conjunto de avaliação por idioma a partir de mensagens reais, com falantes nativos rotulando as respostas esperadas. Verifique se a resposta está no idioma pedido, se nomes, números e códigos passam sem alteração e se a qualidade se mantém em cada dialeto que você atende. Rode o mesmo conjunto quando trocar de modelo ou de prompt; o método está em avaliar um LLM antes de trocar.

Quanto ao custo, a contagem de tokens varia por idioma e por tokenizer. No conjunto de dados medido pelo BroadRouter, o mesmo texto em árabe padrão moderno precisa de 1.31× (Qwen3.8 27B) a 1.77× (GLM 5.3) dos tokens da sua tradução em inglês. Custo real por idioma transforma essas contagens em dinheiro por modelo, incluindo o espanhol, e o contador de tokens em árabe mede o seu próprio texto. Registre os tokens de cada requisição junto com o idioma do conteúdo e você verá o custo por idioma e por usuário, não só por mês.

Por fim, faça uma revisão nativa antes do lançamento. Tradução automática e saída de modelo produzem árabe e espanhol gramaticalmente corretos, mas errados para o seu público. Um revisor que usa o produto no próprio idioma percebe o que nenhum teste pega.

Onde a BroadNet Inference se encaixa

O BroadRouter é o site da própria BroadNet. Os modelos da BroadNet Inference são uma opção razoável para um produto em árabe, inglês e espanhol: a BroadNet informa ter testado o Qwen3.8 27B em árabe, incluindo a compreensão dos dialetos do Golfo e egípcio; o Gemma 4 VL 26B funciona com o crédito inicial de $5; e a transcrição cobre o árabe (BroadNet Transcribe Arabic, $0.0042 por minuto) e 14 idiomas, incluindo inglês e espanhol (BroadNet Transcribe, $0.002 por minuto). O conteúdo das requisições de inferência não é retido; os metadados necessários de conta, cobrança e segurança são retidos conforme descrito na declaração de privacidade da BroadNet. Tudo o que este post diz sobre layout, direção, formatação e detecção é trabalho da sua aplicação, qualquer que seja a API que você use.

Perguntas frequentes

A IA deve responder no idioma da interface ou no idioma do usuário?

Por padrão, no idioma da mensagem do usuário, com a opção de ele mudar. O locale da interface só diz como montar a tela. Um usuário com a interface em árabe que digita em inglês normalmente quer a resposta em inglês.

Como mostrar texto em inglês dentro de um balão de chat em árabe?

Dê dir="auto" a cada elemento de mensagem, para que o navegador defina a direção pelo primeiro caractere forte, e envolva nomes, códigos e URLs inseridos em um elemento bdi. Em texto puro, coloque-os entre U+2068 FIRST STRONG ISOLATE e U+2069 POP DIRECTIONAL ISOLATE.

Usuários de árabe devem ver dígitos arábico-índicos?

Depende da região e dos seus usuários. No nosso teste com Node 24, o padrão para ar-SA e ar-EG foram dígitos arábico-índicos e, para ar-AE e ar-MA, dígitos ocidentais. Escolha por locale, ofereça uma configuração e aceite os dois na entrada, normalizando os dígitos antes do parsing.

Como detectar o idioma de uma mensagem de chat?

Para separar o alfabeto árabe do latino, basta contar caracteres do bloco Unicode árabe. Para distinguir inglês de espanhol, ou lidar com mensagens curtas ou mistas, use um modelo treinado de identificação de idioma, como o lid.176 do fastText, e ainda assim trate o resultado como pista.

Árabe custa mais que inglês em uma API de LLM?

Muitas vezes, por mensagem, porque muitos tokenizers precisam de mais tokens para o mesmo conteúdo em árabe. A proporção depende do tokenizer do modelo. Meça no seu próprio texto e faça um orçamento separado para cada idioma.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity