BroadRouter

Arabic–English translation gamit ang LLM: prompt, glossary, evaluation

Ng BroadNet Inference team · 5 minutong basa · Nailathala

Para mag-translate ng Arabic at English gamit ang LLM, ibigay sa model ang audience, register at glossary ng mga fixed na termino, sabihing huwag galawin ang mga numero at pangalan, at mag-translate kada talata. I-evaluate gamit ang chrF o COMET kasama ang review ng native speaker. Sa mga test ng BroadNet, tumpak na nag-translate ang Qwen3.8 27B sa pagitan ng Arabic at English.

Para mag-translate sa pagitan ng Arabic at English gamit ang LLM, sabihin sa model ang direksyon, audience at register, bigyan ito ng glossary ng mga fixed na termino, huwag galawin ang mga numero at pangalan, at magpadala ng chunk na kasinlaki ng talata. Saka i-check sa code ang mga numero at negation at mag-score gamit ang chrF, COMET at isang native reviewer.

Mahalaga ang kontrol na iyan sa Arabic, kung saan puwedeng tama ang literal na translation pero banyaga pa ring basahin.

Bakit mahirap ang Arabic–English translation para sa mga LLM?

  • Register. Malayo ang pagkakaiba ng pormal na Arabic (Modern Standard Arabic, فصحى) at ng pang-araw-araw na pananalita. Ang marketing line na kaswal sa English ay puwedeng maging matigas o nakakatawa sa literal na MSA.
  • Pagkakasunod ng salita at haba. Madalas nagsisimula sa verb ang Arabic na pangungusap, at madalas iba ang haba ng Arabic text kumpara sa English. Puwedeng mag-wrap o umapaw ang mga UI string na kasya sa English.
  • Gender at bilang. Minamarkahan ng Arabic ang gender sa mga verb, adjective at pronoun, at may dual ito. Ang “you” sa English ay kailangang maging أنتَ, أنتِ, أنتما, أنتم o أنتنّ. Kung hindi mo kilala ang mambabasa, sabihin sa model kung aling default ang gagamitin.
  • Pangalan at transliteration. Maraming English na spelling ang “محمد” (Mohammed, Muhammad, Mohamed). Pumili ng isa kada tao at panindigan ito.
  • Numero at petsa. Kailangan ng tahasang patakaran ang Eastern Arabic numerals, Hijri na petsa at right-to-left na formatting.

Anong prompt ang nagbibigay ng magandang Arabic translation?

Mas nakadepende ang kalidad ng translation sa mga instruction kaysa sa matalinong pagkakasabi. Sabihin sa model ang direksyon, audience, register, glossary at format ng output:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = """Invoice = فاتورة
VAT = ضريبة القيمة المضافة
Refund = استرداد المبلغ
Terms and Conditions = الشروط والأحكام
BroadPay = BroadPay (do not translate)"""

SYSTEM = f"""You translate customer-support articles from English to Arabic.
Audience: retail customers in Saudi Arabia and the UAE.
Register: clear, polite Modern Standard Arabic; short sentences; address the reader
in the masculine singular as a neutral default.
Rules:
- Use the glossary exactly. Never translate product names marked "do not translate".
- Keep every number, date, URL, email address and code snippet unchanged.
- Keep Markdown structure (headings, lists, links) unchanged.
- Output only the translation.
Glossary:
{GLOSSARY}"""

def translate(text: str) -> str:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=4000,  # the model reasons before answering
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}],
    )
    return r.choices[0].message.content

Para sa Arabic → English, baligtarin ang direksyon at idagdag ang kailangan ng English na mambabasa: “American English, plain style, keep Arabic personal names in the spelling given in the glossary” (salin: American English, simpleng istilo, panatilihin ang spelling ng mga Arabic na personal na pangalan ayon sa glossary). Kung puwedeng dialect ang source, sabihin ito: “The source may be Gulf or Egyptian Arabic; translate the meaning, not word for word.” (salin: Puwedeng Gulf o Egyptian Arabic ang source; i-translate ang kahulugan, hindi salita por salita.)

Bakit napakahalaga ng glossary?

Kung walang glossary, puwedeng i-translate ng model ang “refund” bilang استرجاع sa isang talata at استرداد sa susunod. Parehong maayos na Arabic; pero kapag pinagsama, mukhang pabaya at nasisira ang search. Inaayos iyan ng glossary:

  1. Magsimula sa mga kasalukuyan mong translation. Kunin ang mga termino mula sa help centre, kontrata at UI string na mayroon ka na sa dalawang wika.
  2. Panatilihin itong maikli. Sakop ng limampu hanggang dalawang daang termino ang karamihan ng produkto. Ilagay lang ang mga terminong hindi dapat mag-iba.
  3. Isama ang mga hindi isasalin. Mga pangalan ng brand, pangalan ng produkto, pangalan ng plan at code identifier.
  4. Ilagay ito sa system prompt, bago ang text. Pinananatili rin nito ito sa cacheable na prefix, na nagpapababa ng input cost sa paulit-ulit na call; tingnan ang cached input tokens.
  5. I-check ito sa code. Pagkatapos ng translation, i-verify na bawat glossary term na lumabas sa source ay lumabas sa fixed na anyo nito sa target.

Paano dapat hatiin ang mahahabang dokumento?

Mag-translate kada talata o seksyon, hindi kada pangungusap. Nawawalan ng konteksto ang mga call kada pangungusap (sino si “siya”, aling produkto ang tinutukoy ng “ito”). Gumagana ang buong-dokumentong call sa mga long-context na model, pero mas mahirap hanapin at i-retry ang iisang pagkakamali. Magandang balanse ang isang seksyon na ilang daang salita. Ipasa ang translation ng nakaraang seksyon bilang konteksto kung mahalaga ang consistency.

262,144-token ang context ng Qwen3.8 27B; hanggang 1,048,576 token ang kaya ng DeepSeek V4.1 Flash at GLM 5.3, sapat para isama ang mahabang reference document kasabay ng text na tina-translate mo.

Paano mahuli ang mapanganib na error?

Itinatago ng matatas na output ang mga pagkakamali. I-check ang mga ito nang awtomatiko:

  • Numero: kunin ang bawat numero mula sa source at target (pagkatapos i-convert ang Eastern Arabic digits) at ikumpara ang mga set.
  • Negation: binabaligtad ng nawalang “hindi” (لا, لم, لن, ليس, ما) ang kahulugan. Markahan ang mga pangungusap na may negation sa source pero wala sa target.
  • Pangalan at glossary term: i-verify na hindi sila nagbago.
  • Ratio ng haba: kapag mas maikli nang malayo ang target kaysa inaasahan, kadalasang may nalaktawan.
import re
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")

def numbers(s: str) -> list[str]:
    return sorted(re.findall(r"\d+(?:[.,]\d+)?", s.translate(EASTERN)))

def check(src: str, tgt: str) -> list[str]:
    issues = []
    if numbers(src) != numbers(tgt):
        issues.append(f"numbers differ: {numbers(src)} vs {numbers(tgt)}")
    return issues

Puwedeng mag-iba ang decimal separator sa bawat locale (minsan ٫ ang gamit ng Arabic text), kaya i-normalize din ang mga iyon kung ginagamit ito ng mga dokumento mo.

Paano i-evaluate ang kalidad ng translation?

Sinasabi ng mga automatic metric kung napabuti o napasama sa average ang isang pagbabago sa prompt o model:

Metric Ano ang sinusukat Mga tala para sa Arabic
BLEU Overlap ng word n-gram sa isang reference Malupit sa Arabic, kung saan binabago ng mga clitic at variant ng spelling ang anyo ng salita
chrF Overlap ng character n-gram Mas mapagpatawad sa Arabic morphology; mas mabuting default
COMET Paghatol sa kalidad ng isang neural model Mas tugma sa rating ng tao; kailangan ng GPU o hosted na scorer

Para sa isang pampublikong benchmark: ayon sa listahan ng wika nito, kasama sa FLORES-200, na ginamit ng proyektong No Language Left Behind, ang Modern Standard Arabic at ang Egyptian, Najdi, North at South Levantine, Mesopotamian, Moroccan, Tunisian at Ta’izzi-Adeni Arabic kasabay ng English. Pero ang sarili mong content ang tunay na test:

  1. Kumuha ng 100 hanggang 200 kumakatawang segment na may kasalukuyang propesyonal na translation.
  2. I-translate ang mga ito gamit ang bawat model at bersyon ng prompt.
  3. I-score ang chrF (at COMET kung kaya mo), pagkatapos i-normalize ang Arabic spelling sa parehong paraan para sa lahat ng system.
  4. Ipa-rate sa isang native speaker ang 30 segment kada system para sa katumpakan at pagiging natural, nang hindi alam kung aling system ang gumawa.
  5. Bilangin nang hiwalay ang mga check sa mapanganib na error sa itaas.

Aling model ang gagamitin, at magkano?

Iniuulat ng BroadNet na tumpak na nag-translate ang Qwen3.8 27B sa pagitan ng Arabic at English, matatas sumulat ng Arabic at naintindihan ang Gulf at Egyptian na dialect sa mga test nito. Kaya ito ang natural na unang kandidato sa BroadNet Inference. Sulit ding i-test ang DeepSeek V4.1 Flash: mas mura ang output token nito, at ito ang model sa mga unlimited na flat plan. Pinagtatabi ng paghahambing ng DeepSeek V4.1 Flash vs Qwen3.8 27B ang dalawa.

Kada 1M token:

Model Input Output
Qwen3.8 27B $0.175 $2.17
DeepSeek V4.1 Flash $0.175 $0.52
GLM 5.3 $0.78 $3.46

Halos kasinghaba ng input ang output ng translation, at nagre-reason muna ang tatlong model bago sumagot, kaya kadalasang output token ang pinakamalaking bahagi ng bill. Madalas ding mas maraming token kada salita ang Arabic kaysa sa English; tingnan ang token kada salita sa Arabic at English. Mag-paste ng sample sa libreng Arabic token counter, kumpirmahin gamit ang usage mula sa isang totoong request, saka i-project ang buwanang gastos gamit ang LLM API cost calculator. Para sa isang malaking one-off na localisation project sa DeepSeek V4.1 Flash, tuluyang inaalis ng $15 na lingguhang plan ang token meter.

Puwede bang ipadala sa API ang mga kontrata at ticket?

Madalas may personal data ang mga kontrata, medical letter at support ticket. Hindi itinatago ng BroadNet Inference ang mga prompt o output pagkatapos ng request; tingnan ang zero data retention. I-check na sumusunod sa parehong patakaran ang translation memory at mga log mo.

Mga tanong

Mas mahusay ba ang LLM kaysa sa dedicated na translation API para sa Arabic?

Sa maikli at generic na text, puwedeng maliit ang pagkakaiba. Nananalo ang LLM kapag kailangan mo ng kontrol sa tono, glossary terms, formatting o dialect na input, dahil masasabi mo nang eksakto sa prompt ang gusto mo.

Kaya bang i-translate ng model sa English ang Arabic na nasa dialect?

Madalas oo, dahil nakadepende ang translation sa pag-unawa, at mas naiintindihan ng mga model ang mga dialect kaysa sa naisusulat nila ang mga ito. Iniuulat ng BroadNet na naintindihan ng Qwen3.8 27B ang Gulf at Egyptian na dialect sa mga test nito. Ipa-check ang isang sample sa mga native speaker.

Dapat bang i-machine translate ang mga legal na dokumento?

Gumamit ng LLM para sa unang draft at para maintindihan ang dokumento, pero ipa-review sa kwalipikadong translator ang anumang may legal na epekto. Maraming hurisdiksyon din ang humihingi ng certified na human translation para sa mga opisyal na filing.

Bakit mas maraming token ang Arabic translation ko kaysa sa English?

Madalas hinahati ng mga tokenizer ang Arabic sa mas maraming token kada salita kaysa sa English. Mag-paste ng sample sa isang token counter, saka kumpirmahin gamit ang usage.prompt_tokens at usage.completion_tokens mula sa isang totoong request.

Aling metric ang gagamitin para i-evaluate ang Arabic machine translation?

Gamitin ang chrF bilang default na automatic score, dahil mas kaya ng character n-gram ang mga Arabic clitic at variant ng spelling kaysa sa BLEU. Idagdag ang COMET kung kaya mo itong patakbuhin, at ipa-blind-rate sa mga native speaker ang 30 o higit pang segment kada system.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity