BroadRouter

Arabizi at LLM: paghawak ng Franco-Arabic na may numerong 3 at 7

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Ang Arabizi, tinatawag ding Franco-Arabic, ay Arabic na isinusulat sa Latin na letra na may digit para sa mga tunog na wala sa Latin: 3 para sa ع, 7 para sa ح, 2 para sa ء, 5 para sa خ. Kadalasang naiintindihan ito ng mga LLM pero hindi pare-pareho ang pag-convert. I-detect ito, ipa-transliterate sa model papunta sa Arabic script na nakapangalan ang dialect, saka iproseso ang Arabic text.

Ang Arabizi, tinatawag ding Franco-Arabic o “Franco”, ay Arabic na isinusulat sa Latin na letra na may digit para sa mga tunog na wala sa Latin, gaya ng 3 para sa ع at 7 para sa ح. Para hawakan ito gamit ang LLM, i-detect ito, ipa-convert sa model papunta sa Arabic script na nakapangalan ang dialect, at patakbuhin ang natitirang pipeline mo sa Arabic text.

Normal na mensahe ng customer sa Egypt ang “ana 3ayez a7gez ma3ad bokra”: “أنا عايز أحجز ميعاد بكرة” (gusto kong mag-book ng appointment bukas). Lumaki ito sa mga telepono at computer na walang Arabic keyboard at lumalabas pa rin sa chat.

Aling numero ang katumbas ng aling Arabic na letra?

Walang standard, pero ginagamit ang mga digit para sa mga Arabic na letrang kahawig nila o walang katumbas sa Latin. Inililista ng pangkalahatang-ideya ng Arabic chat alphabet ang mga karaniwang convention:

Digit Arabic na letra Halimbawa Arabic script Kahulugan
2 ء (hamza) / أ so2al سؤال tanong
3 ع 3arabi عربي Arabic
3’ o 8 غ 8aly / 3’aly غالي mahal
5 o kh خ 5alas خلاص tapos na / tama na
6 ط 6ayeb طيب sige (Gulf)
7 ح 7abibi حبيبي mahal ko
9 ص 9ba7 صباح umaga (Gulf)
8 ق (sa ilang rehiyon) 8alb قلب puso

Magkakaiba ang mga gawi kada rehiyon. Halimbawa, binabanggit ng pangkalahatang-ideya na sa Lebanon lang ginagamit ang 8 para sa غ, samantalang karaniwan sa Saudi Arabia ang 8 at 9 para sa ق; sa Egyptian Arabizi, puwedeng 2 ang ق kapag binibigkas ito bilang glottal stop. Isinusulat ang mga patinig ayon sa dinig, kaya iisang salita ang “ma3lesh”, “ma3lsh” at “m3lsh” (معلش, hayaan mo na).

Bakit mahirap ang Arabizi para sa software?

  • Halos laging dialect ito. Isinusulat ng mga tao ang Arabizi ayon sa pagsasalita nila, kaya dala nito ang lahat ng hamon ng dialect nang sabay-sabay, nang walang Arabic script na makakapitan.
  • Mukha itong English o French. Ang “bas” ay بس (pero / lang) sa Arabic at walang kahulugan sa English; ang “men” ay من (mula sa / sino). Madalas lagyan ng label na English o ibang Latin-script na wika ng mga keyword detector at language-ID tool ang Arabizi.
  • Walang standard na spelling. Pumapalya ang exact-match na search, mga intent rule at analytics.
  • Code-switching. Pinaghahalo ng “el order bta3i lessa ma waslsh, can u check?” ang Egyptian Arabizi at English sa iisang pangungusap.

Nahihirapan ang mga rule-based na converter dahil puwedeng tumugma ang iisang Latin na string sa maraming Arabic na spelling; pinagsama ng mga research system gaya ng gawa ni Darwish sa Arabizi detection at conversion ang transliteration mining at language modelling para piliin ang tamang salita, at nag-ulat ng 88.7% na conversion accuracy. Ginagawa iyon ng mga modernong LLM sa iisang step.

Gaano kahusay ang mga LLM sa Arabizi?

Nakakita na ng Arabizi ang malalaking model sa web at social-media na text, kaya madalas naiintindihan nila ang mga karaniwang parirala. Iba-iba ang resulta kada model at dialect, kaya mag-test bago ka umasa rito. Mga karaniwang paraan ng pagpalya:

  1. Pagturing dito bilang English at pagsagot sa maling basang mensahe.
  2. Pag-convert sa maling dialect, halimbawa “ginagawang” MSA na salita ang Egyptian na nagpapabago sa tono, o hinuhulaang Gulf kahit Lebanese ang user.
  3. Hindi pare-parehong output script, sumasagot sa Arabizi sa isang mensahe at Arabic script sa susunod.
  4. Hallucinated na katumpakan sa mga pangalan at lugar, kung saan malabo ang Latin na spelling.

Pareho ang solusyon sa pangkalahatang paghawak ng dialect: sabihin sa model kung ano ang aasahan at ano ang gagawin.

Paano i-convert ang Arabizi sa Arabic script gamit ang LLM?

I-convert muna ang Arabizi sa Arabic script, saka patakbuhin ang natitirang pipeline mo (search, routing, reply) sa Arabic text. Iisang code path lang ang kailangan nito at gumagana ang search at analytics.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Isang magandang resulta:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Mga tala sa disenyong ito:

  • Panatilihin ang mga dialect na salita. Kapag hiningi ang “the message in Arabic script, keeping the dialect words”, naiiwasan ang tahimik na pagsulat ulit nito sa MSA, na magpapawala ng kahulugan para sa routing at sentiment.
  • Panatilihin ang orihinal. I-store ang raw na mensahe katabi ng conversion para sa audit at sa pagsasanay ulit ng mga patakaran.
  • Gumamit ng murang pre-filter. Nahuhuli ng simpleng check (Latin na letra at alinman sa digit na 2, 3, 5, 6, 7, 8 o 9 sa loob ng salita, gaya ng regex sa ibaba) ang karamihan ng Arabizi bago ka gumastos sa LLM call. Puwedeng laktawan ang conversion para sa purong Arabic o purong English na mensahe. Para sa mas mahigpit na output, gumamit ng structured output na may schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Hindi nahuhuli ng hint ang Arabizi na walang digit (“ana mesh fahem”, hindi ko naiintindihan) at tumatama ito sa mga product code gaya ng “a7x”; ituring itong pantipid, hindi classifier. Ang script field ng LLM ang tunay na desisyon.

Anong script ang dapat gamitin sa reply?

Magpasya kada produkto, hindi kada mensahe:

Sumagot sa Kailan
Arabic script (MSA o magaang dialect) Default para sa karamihan ng negosyo; nababasa ng lahat
English Kung English ang support language mo, o halos English ang hinalo ng customer
Arabizi Mga brand para sa kabataan na gustong tumugma sa istilo ng customer; ipasuri ang mga sample sa mga native speaker

Kapag awtomatikong ginagaya ang Arabizi, kadalasang lumalabas ang mga spelling na kakaiba sa mata ng mga native user, dahil walang standard na susundin. Kung gagayahin mo ito, bigyan ang model ng mga halimbawa ng mga spelling na gusto mo. Higit pa sa pagtatakda ng register at script sa Arabic prompt engineering.

Aling model ang dapat gamitin para sa Arabizi?

Mangolekta ng 50 hanggang 100 totoong Arabizi na mensahe mula sa mga channel mo, isulat ang tamang Arabic-script na bersyon at intent ng bawat isa, at i-score ang mga kandidatong model una sa intent accuracy at pangalawa sa kalidad ng conversion. Ayon sa BroadNet, naintindihan ng Qwen3.8 27B ang Gulf at Egyptian na dialect at sumulat ito ng maayos na Arabic sa mga test nito; wala itong inilathalang resultang partikular sa Arabizi, kaya i-test ito sa iyo. Mas mura kada output token ang DeepSeek V4.1 Flash, at ang BroadNet Gemma 4 VL 26B ang pinakamurang BroadNet model para sa high-volume na pre-classification step. Nasa pricing page ang mga presyo. Magkaiba ang pag-tokenise ng Latin-script na Arabizi at ng Arabic script, kaya i-paste ang dalawang bersyon ng ilang mensahe sa libreng token counter bago ka magtantiya ng gastos.

Saan lumalabas ang Arabizi?

  • WhatsApp at social DM: ang pangunahing pinagmumulan. Tingnan ang Arabic WhatsApp chatbot architecture.
  • Mga search box: nagta-type ang mga user ng “7agz” (حجز, booking). I-normalise ang mga query gamit ang parehong step bago ang Arabic RAG retrieval.
  • Hindi mula sa speech-to-text, kung ipinapadala mo ang language. Tao ang nagta-type ng Arabizi. Kung bumalik sa Latin na letra ang transcript ng Arabic audio, malamang kulang ng language=ar ang request; nagbababala ang docs ng BroadNet na kung hindi, puwedeng ma-transliterate ang Arabic. Tingnan ang gabay sa WhatsApp voice note.

Mga tanong

Pareho ba ang Arabizi at Franco-Arabic?

Oo. Iisang gawi ang tinutukoy ng Arabizi, Franco-Arabic, Franco at Arabic chat alphabet: ang pagsulat ng Arabic sa Latin na letra at digit. Iba-iba ang pangalan kada bansa; karaniwan ang "Franco" sa Egypt.

Dapat bang sumagot sa Arabizi ang chatbot ko?

Kadalasan, hindi. Sumagot sa Arabic script o English, ayon sa brand mo. May mga brand para sa kabataan na sumasagot sa Arabizi, pero ipasuri sa mga native speaker kung mukhang natural ang spelling.

Kaya bang i-convert ng regex ang Arabizi sa Arabic?

Hindi maaasahan. Malayang tinatanggal o idinadagdag ang mga patinig at iba-iba ang Arabic na letrang katumbas ng parehong Latin na letra depende sa context. Nakakatulong ang mga patakaran sa detection; kailangan ng language model para sa conversion.

Ano ang ibig sabihin ng 3 sa Arabic na pagte-text?

Sa Arabizi, ang 3 ay ang letrang ع (ayn), gaya ng "3arabi" para sa عربي (Arabic). Ang iba pang karaniwang digit ay 2 para sa ء, 5 para sa خ, 7 para sa ح at 9 para sa ص.

Bakit Latin na letra ang bumalik sa transcription ko?

Transliteration iyon ng speech model, hindi Arabizi na tina-type ng mga user. Ipadala ang language=ar sa bawat Arabic transcription request para makakuha ng Arabic script.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity