BroadRouter

Mereka bentuk pengalaman AI untuk pelbagai bahasa

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan

Simpan dua tetapan: lokal antara muka dan bahasa kandungan, dan jangan sekali-kali meneka satu daripada yang lain. Tetapkan arah daripada lokal, asingkan teks pengguna dan model dengan dir="auto" atau bdi, format nombor dan tarikh mengikut lokal, normalkan digit pada input, anggap pengesanan bahasa sebagai petunjuk sahaja, dan nilai kualiti serta kos bagi setiap bahasa.

Ciri AI untuk pengguna bahasa Arab, Inggeris dan Sepanyol ialah tiga produk yang berkongsi satu pangkalan kod. Skrin mesti bertukar arah untuk bahasa Arab. Mesej mencampurkan tulisan dalam satu baris. Nombor dan tarikh berubah bentuk mengikut rantau. Model mungkin menjawab dalam bahasa yang salah, dan setiap bahasa berbeza kosnya. Kebanyakan masalah ini berpunca daripada satu kesilapan reka bentuk: menganggap “bahasa” sebagai satu tetapan sahaja.

Catatan ini merangkumi bahagian produk dan antara muka. Menterjemah rentetan aplikasi anda sendiri (pemegang tempat, bentuk jamak, mesej ICU) ada dalam menterjemah rentetan aplikasi ke bahasa Arab dengan LLM; susunan kata prompt ada dalam kejuruteraan prompt bahasa Arab.

Mengapa lokal antara muka perlu diasingkan daripada bahasa model?

Kerana kedua-duanya menjawab soalan berbeza. Lokal antara muka (ar-SA, en-US, es-MX) menentukan arah susun atur, bahasa butang anda, dan rupa nombor serta tarikh. Bahasa kandungan ialah bahasa sesuatu mesej, dokumen atau rakaman, dan menentukan apa yang anda minta model lakukan.

Kedua-duanya kerap berbeza. Pengguna Saudi dengan antara muka bahasa Arab menampal kontrak bahasa Inggeris. Pengguna Sepanyol memuat naik foto invois bahasa Arab. Ejen dwibahasa bertukar bahasa di tengah perbualan (code-switching). Jika kod menghantar “jawab dalam bahasa Arab” kerana antara mukanya bahasa Arab, kontrak bahasa Inggeris itu mendapat ringkasan bahasa Arab yang tidak diminta sesiapa.

Jadi simpan kedua-duanya bagi setiap pengguna, dan bagi setiap mesej:

  • ui_locale: dipilih oleh pengguna, dengan lalai bahasa pelayar.
  • answer_language: pilihan jelas pengguna jika ada, jika tidak bahasa mesej yang dikesan.
  • Untuk audio, audio_language: apa yang anda hantar kepada model transkripsi. Rujukan API BroadNet menyatakan supaya sentiasa menghantar language bersama permintaan transkripsi, jika tidak bahasa Arab boleh kembali dalam huruf Rumi.

Bagaimanakah anda menyokong teks kanan-ke-kiri dan teks bercampur arah?

Tiga lapisan, daripada panduan W3C:

  1. Arah halaman daripada lokal. Tetapkan dir="rtl" dan lang="ar" pada elemen html untuk bahasa Arab. W3C menyatakan jangan gunakan CSS untuk menetapkan arah asas, dan gunakan nilai logik (start dan end) untuk margin, padding dan penjajaran, bukan left dan right.
  2. CSS logik. margin-inline-start dan bukan margin-left, text-align: start dan bukan left. MDN menerangkan sifat logik sebagai mengawal susun atur “through logical rather than physical direction” (Terjemahan: melalui arah logik dan bukan arah fizikal). Satu helaian gaya kemudian melayan kedua-dua arah.
  3. Asingkan teks yang bukan anda tulis. Mesej pengguna, jawapan model, nama produk dan kod pesanan mempunyai arah sendiri. Peraturan W3C: jika anda tidak tahu arah teks yang disisipkan semasa masa larian, tambah dir="auto" pada elemen yang membalutnya, atau balutnya dalam elemen bdi. Tanpa pengasingan, kod pesanan bahasa Inggeris di hujung ayat bahasa Arab boleh melompat ke sisi yang salah, dan tanda baca berada di tempat yang pelik.

Bagi antara muka chat, ini bermakna dir="auto" pada setiap gelembung mesej, kerana setiap mesej mengambil arahnya daripada aksara kuat yang pertama, dan bdi di sekeliling nama dan kod dalam rentetan antara muka anda sendiri. Di tempat tiada markup (pemberitahuan tolak, SMS, eksport CSV), isolate Unicode Bidirectional Algorithm melakukan tugas yang sama: U+2068 FIRST STRONG ISOLATE sebelum teks dan U+2069 POP DIRECTIONAL ISOLATE selepasnya.

Output model menambah satu lagi kes: Markdown. Model yang menjawab dalam bahasa Arab mungkin menyertakan kod, URL atau sel jadual bahasa Inggeris. Paparkan blok kod dengan dir="ltr" secara jelas, dan berikan setiap perenggan dan sel jadual dir="auto".

Bagaimanakah nombor dan tarikh patut berbeza mengikut lokal?

Biarkan platform memformatnya, dan uji apa yang sebenarnya dihasilkan. Kami menjalankan Intl.NumberFormat dan Intl.DateTimeFormat dalam Node 24.22.1 (ICU 78.3, CLDR 48) untuk 1234.5 dan 15 November 2026:

Lokal Nombor Tarikh (panjang) Arah
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

Empat perkara untuk diperhatikan. Lokal Arab berbeza dari segi digit: Saudi menggunakan digit Arab-India secara lalai, UAE digit Barat, dan sambungan -u-nu-latn (lihat numberingSystem di MDN) menukar sesuatu lokal kepada digit Barat. Bahasa Sepanyol berbeza mengikut rantau: Sepanyol menggunakan koma perpuluhan dan, untuk nombor empat digit, tiada pemisah ribu; Mexico menggunakan titik. Nama bulan juga berbeza di seluruh dunia Arab: ar-MA mencetak نونبر untuk November manakala ar-SA mencetak نوفمبر. Dan pelayar membawa versi ICU masing-masing, jadi jalankan semakan yang sama dalam pelayar sasaran anda.

Bentuk jamak mengikut peraturan CLDR: Intl.PluralRules untuk ar memulangkan enam kategori bagi 0, 1, 2, 3, 11 dan 100 (zero, one, two, few, many, other), manakala bahasa Inggeris dan Sepanyol hanya memulangkan one dan other bagi nombor tersebut. Bahagian rentetannya ada dalam catatan tentang rentetan aplikasi.

Pada input, terima kedua-dua bentuk digit. Pengguna mungkin menaip ١٢٣٤ dalam medan kuantiti; normalkan kepada digit ASCII sebelum menghurai, dan sebelum menghantar nombor kepada model jika prompt anda membandingkannya.

Bolehkah anda mengesan bahasa setiap mesej?

Sebahagiannya. Membezakan tulisan Arab daripada tulisan Rumi mudah dan boleh dipercayai: kira aksara dalam blok Unicode Arab. Membezakan bahasa Inggeris daripada Sepanyol, atau membaca mesej yang sangat pendek, memerlukan model terlatih. fastText menerbitkan dua model pengenalpastian bahasa untuk 176 bahasa (lid.176.bin, 126 MB, dan lid.176.ftz yang dimampatkan, 917 kB).

Berikut ialah modul pembantu kecil untuk keputusan di atas. Pengesannya sengaja dibuat ringkas, untuk menunjukkan di mana cara ringkas gagal.

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

Kami menjalankannya dalam Node 24. Ia melabel وين طلبي؟ sebagai ar, “¿Dónde está mi pedido?” sebagai es, “Where is my order?” sebagai en, dan ayat bahasa Arab yang mengandungi kod ORD-5521 sebagai ar. “ok” kembali sebagai und, yang dengan betul jatuh kepada “the language of the user’s message” dalam prompt. Dan “ana 3ayez a3raf el order fen”, bahasa Arab Mesir dalam huruf Rumi (Arabizi), kembali sebagai es, kerana perkataan “el” kelihatan seperti bahasa Sepanyol. Itulah hasil yang jujur untuk heuristik. Jika pengguna anda menulis Arabizi, kesannya secara jelas dan anggap ia bahasa Arab, seperti dalam mengendalikan Arabizi, dan benarkan pengguna membetulkan bahasa jawapan dengan satu ketikan.

Pembantu digit menukar ٢٠٢٦-١١-١٥ kepada 2026-11-15, dan isolate() meloloskan HTML sebelum membalut, jadi nama syarikat seperti Acme <Ltd> tidak boleh menyuntik markup.

Apa lagi yang berubah apabila bahasa berubah?

  • Panjang teks. Teks antara muka yang diterjemah selalunya lebih panjang. W3C memetik garis panduan IBM yang menjangkakan rentetan bahasa Inggeris sehingga 10 aksara berkembang kepada 200–300% panjangnya dalam bahasa Eropah, dan rentetan melebihi 70 aksara kepada kira-kira 130%. Reka butang dan label supaya boleh dibalut, dan uji binaan bahasa Sepanyol pada lebar yang sempit.
  • Fon. Pilih keluarga fon yang mempunyai reka bentuk Arab yang sepadan, dan semak ketinggian baris bahasa Arab: diakritik memerlukan ruang di atas dan bawah.
  • Carian dan padanan. Teks bahasa Arab perlu dinormalkan sebelum dipadankan (diakritik, bentuk alif, tatweel). Penormal teks Arab menunjukkan setiap peraturan.
  • Pertuturan. Pilih model transkripsi mengikut bahasa audio, bukan antara muka. BroadNet menyenaraikan satu model bahasa Arab dan satu model 14 bahasa yang merangkumi bahasa Inggeris, Sepanyol dan Arab; halaman model berbilang bahasanya menyatakan supaya memilih model bahasa Arab untuk audio bahasa Arab. Catatan speech-to-text berbilang bahasa membandingkan pilihan yang ada.
  • Dialek. “Bahasa Arab” bukan satu sasaran. Pengguna di Riyadh, Kaherah dan Casablanca menulis secara berbeza; dialek Teluk dan Mesir merangkumi apa yang perlu diuji.

Bagaimanakah anda menilai dan membajetkan setiap bahasa?

Secara berasingan. Satu skor gabungan menyembunyikan bahasa yang lemah, dan satu bajet gabungan menyembunyikan bahasa yang mahal.

Bina set penilaian kecil bagi setiap bahasa daripada mesej sebenar, dengan penutur asli melabel jawapan yang dijangka. Semak bahawa jawapan berada dalam bahasa yang diminta, bahawa nama, nombor dan kod kekal tidak berubah, dan bahawa kualiti kekal bagi setiap dialek yang anda layan. Jalankan set yang sama apabila anda menukar model atau prompt; kaedahnya ada dalam menilai LLM sebelum bertukar.

Untuk kos, bilangan token berbeza mengikut bahasa dan tokenizer. Dalam set data yang diukur oleh BroadRouter, teks Bahasa Arab Standard Moden yang sama memerlukan 1.31× (Qwen3.8 27B) hingga 1.77× (GLM 5.3) token terjemahan bahasa Inggerisnya. Kos sebenar mengikut bahasa menukar kiraan itu kepada wang bagi setiap model, termasuk bahasa Sepanyol, dan pengira token bahasa Arab mengukur teks anda sendiri. Log token bagi setiap permintaan bersama bahasa kandungan, dan anda dapat melihat kos bagi setiap bahasa bagi setiap pengguna, bukan sekadar sebulan.

Akhir sekali, dapatkan semakan penutur asli sebelum pelancaran. Terjemahan mesin dan output model kedua-duanya menghasilkan bahasa Arab dan Sepanyol yang betul tatabahasanya tetapi salah untuk khalayak anda. Penyemak yang menggunakan produk dalam bahasanya sendiri dapat menangkap apa yang tidak dapat ditangkap oleh mana-mana ujian.

Di mana BroadNet Inference sesuai

BroadRouter ialah laman web milik BroadNet sendiri. Model BroadNet Inference sesuai secara munasabah untuk produk bahasa Arab, Inggeris dan Sepanyol: BroadNet melaporkan ia menguji Qwen3.8 27B dalam bahasa Arab, termasuk pemahaman dialek Teluk dan Mesir; Gemma 4 VL 26B berjalan pada kredit permulaan $5; dan transkripsi merangkumi bahasa Arab (BroadNet Transcribe Arabic, $0.0042 seminit) dan 14 bahasa termasuk bahasa Inggeris dan Sepanyol (BroadNet Transcribe, $0.002 seminit). Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam pernyataan privasi BroadNet. Semua dalam catatan ini tentang susun atur, arah, pemformatan dan pengesanan ialah tugas aplikasi anda, walau API mana pun yang anda gunakan.

Soalan lazim

Patutkah AI menjawab dalam bahasa antara muka atau bahasa pengguna?

Jadikan bahasa mesej pengguna sebagai lalai, dan benarkan pengguna mengubahnya. Lokal antara muka hanya memberitahu anda cara menyusun skrin. Pengguna antara muka bahasa Arab yang menaip dalam bahasa Inggeris biasanya mahukan jawapan dalam bahasa Inggeris.

Bagaimanakah saya memaparkan teks bahasa Inggeris dalam gelembung chat bahasa Arab?

Berikan setiap elemen mesej dir="auto" supaya pelayar menetapkan arahnya daripada aksara kuat yang pertama, dan balut nama, kod dan URL yang disisipkan dalam elemen bdi. Dalam teks biasa, balut dengan U+2068 FIRST STRONG ISOLATE dan U+2069 POP DIRECTIONAL ISOLATE.

Patutkah pengguna Arab melihat digit Arab-India?

Bergantung pada rantau dan pengguna anda. Dalam ujian Node 24 kami, lalai untuk ar-SA dan ar-EG ialah digit Arab-India dan untuk ar-AE dan ar-MA digit Barat. Pilih bagi setiap lokal, sediakan tetapan, dan terima kedua-duanya pada input dengan menormalkan digit sebelum menghurai.

Bagaimanakah saya mengesan bahasa sesuatu mesej chat?

Untuk tulisan Arab berbanding Rumi, mengira aksara dalam blok Unicode Arab sudah memadai. Untuk membezakan bahasa Inggeris daripada Sepanyol, atau mengendalikan mesej pendek atau bercampur, gunakan model pengenalpastian bahasa terlatih seperti lid.176 daripada fastText, dan masih anggap hasilnya sebagai petunjuk.

Adakah bahasa Arab lebih mahal daripada bahasa Inggeris dengan API LLM?

Selalunya, bagi setiap mesej, kerana banyak tokenizer memerlukan lebih banyak token untuk kandungan bahasa Arab yang sama. Nisbahnya bergantung pada tokenizer model. Ukur pada teks anda sendiri dan bajetkan setiap bahasa secara berasingan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity