BroadRouter

Terjemahan Arab–Inggris dengan LLM: prompt, glosarium, evaluasi

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan

Untuk menerjemahkan bahasa Arab dan Inggris dengan LLM, beri model target pembaca, register, dan glosarium istilah tetap, minta angka dan nama tidak diubah, dan terjemahkan per potongan seukuran paragraf. Evaluasi dengan chrF atau COMET ditambah tinjauan penutur asli. Dalam tes BroadNet, Qwen3.8 27B menerjemahkan dengan akurat antara bahasa Arab dan Inggris.

Untuk menerjemahkan antara bahasa Arab dan Inggris dengan LLM, beri tahu model arah, target pembaca, dan register, berikan glosarium istilah tetap, pertahankan angka dan nama, dan kirim potongan seukuran paragraf. Lalu cek angka dan negasi di kode dan beri skor dengan chrF, COMET, dan peninjau penutur asli.

Kendali itu penting dalam bahasa Arab, di mana terjemahan harfiah bisa benar tetapi tetap terasa asing.

Mengapa terjemahan Arab–Inggris rumit bagi LLM?

  • Register. Bahasa Arab formal (bahasa Arab Standar Modern, فصحى) dan bahasa sehari-hari sangat berbeda. Kalimat pemasaran yang santai dalam bahasa Inggris bisa terdengar kaku atau lucu dalam MSA harfiah.
  • Urutan kata dan panjang. Kalimat bahasa Arab sering diawali kata kerja, dan panjang teks Arab sering berbeda dari bahasa Inggrisnya. String UI yang muat dalam bahasa Inggris bisa terpotong ke baris baru atau meluap.
  • Gender dan jumlah. Bahasa Arab menandai gender pada kata kerja, kata sifat, dan kata ganti, serta punya bentuk dual. “You” dalam bahasa Inggris harus menjadi أنتَ, أنتِ, أنتما, أنتم, atau أنتنّ. Jika Anda tidak tahu siapa pembacanya, beri tahu model bentuk bawaan mana yang dipakai.
  • Nama dan transliterasi. “محمد” punya banyak ejaan bahasa Inggris (Mohammed, Muhammad, Mohamed). Pilih satu per orang dan pertahankan.
  • Angka dan tanggal. Angka Arab Timur, tanggal Hijriah, dan format kanan-ke-kiri semuanya membutuhkan aturan eksplisit.

Prompt apa yang menghasilkan terjemahan bahasa Arab yang baik?

Kualitas terjemahan jauh lebih bergantung pada instruksi daripada pada kata-kata yang cerdik. Beri tahu model arah, target pembaca, register, glosarium, dan format output:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = """Invoice = فاتورة
VAT = ضريبة القيمة المضافة
Refund = استرداد المبلغ
Terms and Conditions = الشروط والأحكام
BroadPay = BroadPay (do not translate)"""

SYSTEM = f"""You translate customer-support articles from English to Arabic.
Audience: retail customers in Saudi Arabia and the UAE.
Register: clear, polite Modern Standard Arabic; short sentences; address the reader
in the masculine singular as a neutral default.
Rules:
- Use the glossary exactly. Never translate product names marked "do not translate".
- Keep every number, date, URL, email address and code snippet unchanged.
- Keep Markdown structure (headings, lists, links) unchanged.
- Output only the translation.
Glossary:
{GLOSSARY}"""

def translate(text: str) -> str:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=4000,  # the model reasons before answering
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}],
    )
    return r.choices[0].message.content

Untuk Arab → Inggris, balik arahnya dan tambahkan apa yang dibutuhkan pembaca bahasa Inggris: “American English, plain style, keep Arabic personal names in the spelling given in the glossary”. Jika sumbernya mungkin berdialek, sebutkan: “The source may be Gulf or Egyptian Arabic; translate the meaning, not word for word.”

Mengapa glosarium begitu penting?

Tanpa glosarium, model bisa menerjemahkan “refund” sebagai استرجاع di satu paragraf dan استرداد di paragraf berikutnya. Keduanya bahasa Arab yang baik; bersama-sama keduanya terlihat ceroboh dan merusak pencarian. Glosarium memperbaikinya:

  1. Mulai dari terjemahan yang sudah ada. Ambil istilah dari pusat bantuan, kontrak, dan string UI yang sudah Anda miliki dalam kedua bahasa.
  2. Buat tetap pendek. Lima puluh hingga dua ratus istilah mencakup sebagian besar produk. Masukkan hanya istilah yang tidak boleh bervariasi.
  3. Sertakan item jangan-diterjemahkan. Nama merek, nama produk, nama paket, dan identifier kode.
  4. Letakkan di system prompt, sebelum teks. Itu juga menjaganya di prefiks yang bisa di-cache, yang menurunkan biaya input pada panggilan berulang; lihat token input cache.
  5. Cek di kode. Setelah terjemahan, verifikasi bahwa setiap istilah glosarium yang muncul di sumber muncul dalam bentuk tetapnya di target.

Bagaimana sebaiknya dokumen panjang dipecah?

Terjemahkan per potongan paragraf atau bagian, bukan kalimat demi kalimat. Panggilan per kalimat kehilangan konteks (siapa “dia”, produk mana yang dimaksud “itu”). Panggilan satu dokumen utuh bisa berjalan di model berkonteks panjang, tetapi satu kesalahan lebih sulit ditemukan dan diulang. Satu bagian berisi beberapa ratus kata adalah keseimbangan yang baik. Sertakan terjemahan bagian sebelumnya sebagai konteks jika konsistensi penting.

Qwen3.8 27B punya konteks 262.144 token; DeepSeek V4.1 Flash dan GLM 5.3 menerima hingga 1.048.576 token, cukup untuk menyertakan dokumen referensi panjang di samping teks yang Anda terjemahkan.

Bagaimana menangkap kesalahan yang berbahaya?

Output yang lancar menyembunyikan kesalahan. Cek hal-hal ini secara otomatis:

  • Angka: ekstrak setiap angka dari sumber dan target (setelah mengonversi digit Arab Timur) lalu bandingkan himpunannya.
  • Negasi: “tidak” yang hilang (لا, لم, لن, ليس, ما) membalik makna. Tandai kalimat yang sumbernya punya negasi tetapi targetnya tidak.
  • Nama dan istilah glosarium: verifikasi bahwa semuanya tetap utuh.
  • Rasio panjang: target yang jauh lebih pendek dari perkiraan biasanya berarti ada yang terlewat.
import re
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")

def numbers(s: str) -> list[str]:
    return sorted(re.findall(r"\d+(?:[.,]\d+)?", s.translate(EASTERN)))

def check(src: str, tgt: str) -> list[str]:
    issues = []
    if numbers(src) != numbers(tgt):
        issues.append(f"numbers differ: {numbers(src)} vs {numbers(tgt)}")
    return issues

Pemisah desimal bisa berbeda antar-locale (teks Arab kadang memakai ٫), jadi normalisasi juga jika dokumen Anda memakainya.

Bagaimana mengevaluasi kualitas terjemahan?

Metrik otomatis memberi tahu apakah perubahan prompt atau model membuat hasil lebih baik atau lebih buruk secara rata-rata:

Metrik Yang diukur Catatan untuk bahasa Arab
BLEU Tumpang tindih n-gram kata dengan referensi Keras terhadap bahasa Arab, di mana klitik dan varian ejaan mengubah bentuk kata
chrF Tumpang tindih n-gram karakter Lebih toleran terhadap morfologi Arab; pilihan bawaan yang lebih baik
COMET Penilaian kualitas oleh model neural Berkorelasi lebih baik dengan penilaian manusia; butuh GPU atau scorer yang di-host

Sebagai benchmark publik, FLORES-200, yang dipakai proyek No Language Left Behind, mencakup bahasa Arab Standar Modern serta bahasa Arab Mesir, Najd, Levant Utara dan Selatan, Mesopotamia, Maroko, Tunisia, dan Ta’izz-Aden di samping bahasa Inggris, menurut daftar bahasanya. Namun ujian sebenarnya adalah konten Anda sendiri:

  1. Ambil 100 hingga 200 segmen representatif yang sudah punya terjemahan profesional.
  2. Terjemahkan dengan setiap versi model dan prompt.
  3. Hitung chrF (dan COMET jika bisa), setelah menormalisasi ejaan Arab dengan cara yang sama untuk semua sistem.
  4. Minta penutur asli menilai 30 segmen per sistem untuk akurasi dan kealamian, tanpa tahu sistem mana yang menghasilkannya.
  5. Lacak hasil cek kesalahan berbahaya di atas sebagai hitungan terpisah.

Model mana yang sebaiknya dipakai, dan berapa biayanya?

BroadNet melaporkan bahwa Qwen3.8 27B menerjemahkan dengan akurat antara bahasa Arab dan Inggris, menulis bahasa Arab yang lancar, dan memahami dialek Teluk dan Mesir dalam tesnya. Itu menjadikannya kandidat pertama yang wajar di BroadNet Inference. DeepSeek V4.1 Flash juga layak diuji: token output-nya lebih murah, dan model inilah yang ada di paket harga tetap tanpa batas. Perbandingan DeepSeek V4.1 Flash vs Qwen3.8 27B menyandingkan keduanya.

Per 1 juta token:

Model Input Output
Qwen3.8 27B $0.175 $2.17
DeepSeek V4.1 Flash $0.175 $0.52
GLM 5.3 $0.78 $3.46

Output terjemahan kira-kira sepanjang input, dan ketiga model melakukan penalaran sebelum menjawab, jadi token output biasanya mendominasi tagihan. Bahasa Arab juga cenderung membutuhkan lebih banyak token per kata daripada bahasa Inggris; lihat token per kata dalam bahasa Arab dan Inggris. Tempel sampel ke penghitung token bahasa Arab gratis, konfirmasi dengan usage dari permintaan nyata, lalu proyeksikan pengeluaran bulanan dengan kalkulator biaya API LLM. Untuk proyek lokalisasi besar sekali jalan di DeepSeek V4.1 Flash, paket mingguan $15 menghilangkan meteran token sepenuhnya.

Bisakah kontrak dan tiket dikirim ke API?

Kontrak, surat medis, dan tiket dukungan sering berisi data pribadi. BroadNet Inference tidak menyimpan prompt atau output setelah permintaan selesai; lihat zero data retention. Pastikan translation memory dan log Anda mengikuti aturan yang sama.

Pertanyaan umum

Apakah LLM lebih baik daripada API terjemahan khusus untuk bahasa Arab?

Untuk teks pendek dan umum, perbedaannya bisa kecil. LLM unggul saat Anda membutuhkan kendali atas nada, istilah glosarium, format, atau input berdialek, karena Anda bisa menyebutkan persis apa yang Anda inginkan di prompt.

Bisakah model menerjemahkan bahasa Arab dialek ke bahasa Inggris?

Sering kali bisa, karena terjemahan bergantung pada pemahaman, dan model lebih memahami dialek daripada menuliskannya. BroadNet melaporkan Qwen3.8 27B memahami dialek Teluk dan Mesir dalam tesnya. Cek sampelnya bersama penutur asli.

Apakah dokumen hukum boleh diterjemahkan mesin?

Pakai LLM untuk draf pertama dan untuk memahami isi, tetapi minta penerjemah yang kompeten meninjau apa pun yang berdampak hukum. Banyak yurisdiksi juga mewajibkan terjemahan tersumpah oleh manusia untuk dokumen resmi.

Mengapa terjemahan bahasa Arab saya lebih banyak token daripada bahasa Inggrisnya?

Tokenizer sering memecah bahasa Arab menjadi lebih banyak token per kata daripada bahasa Inggris. Tempel sampel ke penghitung token, lalu konfirmasi dengan usage.prompt_tokens dan usage.completion_tokens dari permintaan nyata.

Metrik apa yang sebaiknya dipakai untuk mengevaluasi terjemahan mesin bahasa Arab?

Pakai chrF sebagai skor otomatis bawaan, karena n-gram karakter lebih tahan terhadap klitik dan varian ejaan bahasa Arab dibanding BLEU. Tambahkan COMET jika bisa menjalankannya, dan minta penutur asli menilai secara buta 30 segmen atau lebih per sistem.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity