BroadRouter

RAG bahasa Arab: normalisasi, chunking, dan retrieval yang berhasil

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan

RAG bahasa Arab berhasil jika Anda menormalisasi teks sebelum indexing (menyatukan bentuk alif, ya dan alif maqsura, ta marbuta, serta menghapus harakat dan tatwil), melakukan chunking per paragraf, menggabungkan model embedding multibahasa dengan keyword search, dan membiarkan LLM long-context menjawab dari passage yang ditemukan dengan sitasi. Terapkan normalisasi yang sama pada query.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Agar retrieval-augmented generation (RAG) berhasil untuk bahasa Arab, normalisasi dokumen dan query dengan aturan ejaan yang sama, lakukan chunking per paragraf, cari dengan analyzer keyword bahasa Arab sekaligus model embedding multibahasa, dan minta LLM menjawab hanya dari passage yang ditemukan, lengkap dengan sitasi.

Polanya, dari makalah RAG asli, adalah retrieve lalu generate. Sebagian besar kegagalan RAG bahasa Arab terjadi di paruh pertama. Pengguna mengetik “الفاتوره” sementara indeks menyimpan “الفاتورة”; sebuah kebijakan menulis “إلغاء” dan pengguna menulis “الغاء”; model embedding-nya sebagian besar dilatih dengan bahasa Inggris. Perbaiki retrieval, dan bagian LLM biasanya beres dengan sendirinya.

Seperti apa pipeline RAG bahasa Arab?

  1. Ekstrak teks dari PDF, halaman web, dan artikel pusat bantuan. Untuk PDF bahasa Arab hasil pindaian, lihat OCR bahasa Arab vs LLM vision.
  2. Normalisasi salinan teks untuk indexing.
  3. Chunking berdasarkan struktur: heading dan paragraf.
  4. Indeks dua kali: indeks keyword dan indeks vektor.
  5. Retrieve dari keduanya dengan query yang sudah dinormalisasi, lalu gabungkan dan rerank.
  6. Generate jawaban dari passage teratas, dengan menyitirnya.

Bagaimana menormalisasi teks Arab untuk pencarian?

Bahasa Arab mengizinkan beberapa ejaan untuk kata yang sama, dan pengguna jarang mengetik harakat atau hamzah secara konsisten. Normalisasi salinan yang diindeks dan setiap query dengan fungsi yang sama:

Aturan Karakter Alasan
Satukan alif أ إ آ ٱ → ا Hamzah sering tidak diketik
Alif maqsura ى → ي Umum dalam pengetikan Mesir dan ejaan longgar
Ta marbuta ة → ه Pengguna mengetik ه di akhir kata
Hapus harakat U+064B sampai U+0652, U+0670 Sebagian besar teks dan query tanpa harakat
Hapus tatwil ـ (U+0640) Pemanjangan dekoratif
Digit ٠–٩ → 0–9 Agar angka cocok dalam bentuk mana pun

Coba setiap opsi pada teks Anda sendiri dengan normalizer teks Arab, yang juga menuliskan fungsi Python yang sesuai.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

Code point-nya ada di tabel Arab Unicode. Dua peringatan:

  • Jangan pernah menampilkan teks yang dinormalisasi. Simpan teks asli di sebelahnya, lalu tampilkan, sitir, dan kirim teks asli ke LLM. Bahasa Arab yang dinormalisasi terlihat salah eja bagi pembaca.
  • Beberapa penggabungan menghilangkan makna. ة → ه menggabungkan beberapa pasangan kata, dan ى → ي menggabungkan “على” (di atas) dengan “علي” (Ali). Demi recall pencarian, kompromi itu biasanya sepadan; uji dengan query Anda sendiri.

Aturan yang sama menjadi inti dari pengukuran akurasi speech recognition bahasa Arab, jadi Anda bisa memakai satu fungsi di seluruh stack.

Bagaimana melakukan chunking dokumen bahasa Arab?

  • Potong berdasarkan struktur. Heading, pasal bernomor dalam kontrak (المادة ١، المادة ٢), dan jeda paragraf adalah batas alami.
  • Beberapa ratus kata per chunk, dengan overlap satu atau dua kalimat. Kata Arab membawa lebih banyak morfem daripada kata Inggris, jadi satu chunk mencakup lebih banyak makna per kata daripada yang terlihat dari panjangnya.
  • Batas kalimat: potong di . ؟ ! dan koma Arab ، hanya sebagai jalan terakhir. Banyak teks Arab memakai kalimat panjang yang disambung dengan و, jadi pemotongan per paragraf lebih aman.
  • Bawa konteks. Awali setiap chunk dengan judul dokumen dan heading bagian, dalam bahasa Arab, agar chunk yang berbunyi “تُطبَّق هذه الرسوم” (biaya ini berlaku) tetap menyebut biaya yang mana.

Kalkulator chunking RAG mengubah ukuran chunk, overlap, dan top-k menjadi jumlah chunk, token per query, dan biaya bulanan.

Mengapa menggabungkan keyword search dan embedding?

Morfologi bahasa Arab mengalahkan pencocokan keyword yang naif: كتاب, الكتاب, بالكتاب, وكتابه, dan كتب semuanya berkaitan dengan “buku”. Pakai analyzer yang menangani bahasa Arab. Elasticsearch menyertakan analyzer bahasa Arab yang merangkai stop word Arab, normalisasi digit, normalisasi Arab, dan stemmer Arab, sehingga bentuk berprefiks seperti الكتاب dan وكتاب lebih sering cocok. Cek apa saja yang digabungkannya pada kosakata Anda sendiri sebelum mengandalkannya.

Embedding

Model embedding memetakan teks ke vektor sehingga passage dengan makna serupa berdekatan, bahkan tanpa kata yang sama. Untuk bahasa Arab, pilih model multibahasa dan ujilah:

  • Utamakan model yang dilatih dengan banyak bahasa, seperti BGE M3, yang menurut penulisnya mendukung lebih dari 100 bahasa kerja. Model yang hanya berbahasa Inggris menghasilkan vektor bahasa Arab yang buruk.
  • Uji retrieval lintas bahasa jika pengguna bertanya dalam bahasa Inggris tentang dokumen berbahasa Arab, atau sebaliknya.
  • Buat embedding dari teks asli atau teks yang dinormalisasi, tetapi konsisten antara dokumen dan query. Uji keduanya; hasilnya berbeda per model.

BroadNet Inference tidak menyediakan endpoint embedding: endpoint yang didokumentasikannya adalah chat completions dan transkripsi audio. Pakai penyedia embedding yang Anda percaya, atau host sendiri model embedding multibahasa yang open di vector database, lalu pakai BroadNet untuk generation. Kalkulator biaya embedding menghitung harga indexing dan query di berbagai penyedia.

Gabungkan dan rerank

Jalankan kedua pencarian, gabungkan hasilnya dengan reciprocal rank fusion (beri skor setiap dokumen dengan jumlah 1 / (k + peringkat) di semua daftar), dan simpan 10 sampai 30 passage teratas. Reranker atau cek relevansi singkat dengan LLM bisa memangkasnya lagi, tetapi dengan model long-context Anda sering bisa melewatinya.

Bagaimana menghasilkan jawaban dengan sitasi?

Berikan passage beserta id-nya kepada model dan minta model menjawab hanya dari passage itu:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

System prompt berbahasa Arab itu berbunyi: “Jawab pertanyaan pengguna dalam bahasa Arab Standar Modern yang sederhana, hanya berdasarkan passage yang dilampirkan. Sebutkan nomor passage dalam kurung siku setelah setiap informasi. Jika jawabannya tidak ada di passage, katakan itu dengan jelas.” Instruksi berbahasa Inggris sama baiknya; yang penting adalah aturan untuk menjawab hanya dari passage dan menyertakan sitasi.

Taruh passage sebelum pertanyaan. Jika dokumen yang sama muncul di banyak permintaan, pertahankan urutannya di awal prompt agar harga input cache berlaku; lihat token input cache.

Model yang mana?

Model Konteks Alasan
DeepSeek V4.1 Flash 1.048.576 Tarif input cache terendah di antara ketiganya di BroadNet ($0.0055 per 1 juta token), muat banyak passage, tersedia paket flat
GLM 5.3 1.048.576 Tool dan output terstruktur untuk retrieval agentik
Qwen3.8 27B 262.144 Diuji BroadNet dalam bahasa Arab: tulisan fasih, memahami dialek Teluk dan Mesir

Dengan konteks sejuta token, Anda bisa melakukan retrieval dengan longgar, misalnya 50 passage alih-alih 5, dan membiarkan model memilih. Itu mengurangi kerugian ketika retrieval menaruh passage yang benar di peringkat 12. Untuk kumpulan dokumen kecil, Anda mungkin sama sekali tidak perlu retrieval; lihat long context vs RAG dan cek apakah korpus Anda muat dengan kalkulator context window. Harga semua model ada di halaman harga.

Bagaimana mengevaluasi RAG bahasa Arab?

  1. Tulis 50 sampai 100 pertanyaan nyata, dengan campuran MSA, dialek, dan bahasa Inggris yang benar-benar diketik pengguna Anda.
  2. Tandai passage yang menjawab setiap pertanyaan.
  3. Ukur retrieval lebih dulu: apakah passage yang benar ada di 10 teratas? Bandingkan keyword saja, embedding saja, dan hybrid, dengan dan tanpa normalisasi.
  4. Lalu ukur jawabannya: benar, bersitasi, dan “tidak ditemukan” ketika jawabannya memang tidak ada.
  5. Sertakan query salah eja dan berdialek dengan sengaja. Pengguna menulis “وين الفاتوره” (Teluk/Levant: di mana fakturnya), bukan “أين الفاتورة”.

Perbaiki retrieval sebelum Anda mengganti model generation: jika passage yang benar tidak pernah sampai ke prompt, tidak ada model yang bisa menyitirnya.

Pertanyaan umum

Apakah BroadNet Inference menyediakan embedding?

Tidak. Endpoint yang didokumentasikannya adalah chat completions dan transkripsi audio. Pakai model embedding dari penyedia lain atau jalankan sendiri model embedding multibahasa yang open, lalu pakai BroadNet untuk langkah generation.

Apakah ta marbuta sebaiknya dinormalisasi menjadi ha?

Untuk pencarian, biasanya ya, karena pengguna mengetik keduanya. Ini menggabungkan beberapa kata yang berbeda, tetapi di sebagian besar korpus peningkatan recall lebih besar daripada kerugiannya. Simpan teks asli untuk tampilan dan sitasi.

Seberapa besar chunk bahasa Arab sebaiknya?

Mulailah dengan satu sampai tiga paragraf, beberapa ratus kata, dengan sedikit overlap. Potong di heading dan jeda paragraf, bukan di tengah kalimat, dan sertakan judul dokumen di setiap chunk.

Model embedding mana yang cocok untuk bahasa Arab?

Pakai model multibahasa dan uji dengan query bahasa Arab Anda sendiri. BGE M3, misalnya, disebut oleh penulisnya mendukung retrieval dalam lebih dari 100 bahasa kerja. Model embedding yang hanya berbahasa Inggris menghasilkan vektor bahasa Arab yang buruk.

Bisakah pengguna mencari dalam bahasa Inggris dan menemukan dokumen berbahasa Arab?

Bisa, dengan model embedding multibahasa yang memetakan kedua bahasa ke satu ruang, atau dengan menerjemahkan query memakai LLM sebelum keyword search. Uji query lintas bahasa secara khusus.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity