---
title: "Arabic RAG: normalisation, chunking at embeddings | BroadRouter"
description: "RAG sa mga Arabic na dokumento: i-normalise ang alef, ya at ta marbuta, mag-chunk nang maayos, pumili ng multilingual embeddings at magdagdag ng keyword search."
url: https://broadrouter.com/fil/blog/arabic-rag-search/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/arabic-rag-search/) (na-update noong 2026-11-14).

# Arabic RAG: normalisation, chunking at retrieval na gumagana

Ng BroadNet Inference team · 6 minutong basa · Nailathala 2026-11-14

Gumagana ang Arabic RAG kapag na-normalise mo ang text bago i-index (pag-isahin ang mga anyo ng alef, ya at alef maqsura, ta marbuta, tanggalin ang diacritics at tatweel), nag-chunk ka kada paragraph, pinagsama mo ang multilingual embedding model at keyword search, at pinasagot mo ang long-context LLM mula sa mga nakuhang passage na may citation. Ilapat din ang parehong normalisation sa mga query.

## Mga pangunahing punto

-   I-normalise sa parehong paraan ang mga dokumento at query: أ/إ/آ papuntang ا, ى papuntang ي, ة papuntang ه, walang diacritics, walang tatweel.
-   Itago ang orihinal na text para sa display; ang normalised na kopya ang i-index.
-   Pagsamahin ang keyword search na may Arabic analyzer at multilingual embeddings, saka i-test ang hybrid laban sa bawat isa nang mag-isa gamit ang sarili mong mga query.
-   Pumili ng multilingual embedding model na nasubok mo na sa mga Arabic na query. Walang embeddings endpoint ang BroadNet Inference.
-   Pinapayagan ka ng mga long-context model na kumuha ng maraming passage: tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token.

**Sa page na ito**

1.  Ano ang itsura ng isang Arabic RAG pipeline?
2.  Paano dapat i-normalise ang Arabic text para sa search?
3.  Paano dapat i-chunk ang mga Arabic na dokumento?
4.  Bakit pagsasamahin ang keyword search at embeddings?
5.  Paano gumawa ng sagot na may citation?
6.  Paano i-evaluate ang Arabic RAG?

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

Para gumana ang [retrieval-augmented generation](https://broadrouter.com/fil/glossary/rag/) (RAG) sa Arabic, i-normalise ang mga dokumento at query gamit ang parehong patakaran sa spelling, mag-chunk kada paragraph, mag-search gamit ang Arabic keyword analyzer at multilingual embedding model, at pasagutin ang LLM mula lang sa mga nakuhang passage, may kasamang citation.

Ang pattern mula sa [orihinal na RAG paper](https://arxiv.org/abs/2005.11401): retrieve, saka generate. Sa unang kalahati nangyayari ang karamihan ng pagkabigo ng Arabic RAG. “الفاتوره” ang tina-type ng user pero “الفاتورة” ang nasa index; “إلغاء” ang nakasulat sa policy pero “الغاء” ang isinulat ng user; halos English ang training ng embedding model. Ayusin ang retrieval at kadalasang aayos na rin ang bahagi ng LLM.

## Ano ang itsura ng isang Arabic RAG pipeline?

1.  **I-extract** ang text mula sa mga PDF, web page at help-centre na artikulo. Para sa mga na-scan na Arabic PDF, tingnan ang [Arabic OCR vs vision LLM](https://broadrouter.com/fil/blog/arabic-ocr-vision-llm/).
2.  **I-normalise** ang isang kopya ng text para sa pag-index.
3.  **I-chunk** ayon sa istruktura: mga heading at paragraph.
4.  **I-index** nang dalawang beses: keyword index at vector index.
5.  **I-retrieve** mula sa dalawa gamit ang normalised na query, pagsamahin at i-rerank.
6.  **I-generate** ang sagot mula sa mga nangungunang passage, na may citation sa mga ito.

## Paano dapat i-normalise ang Arabic text para sa search?

Pinapayagan ng Arabic ang ilang spelling ng iisang salita, at bihirang mag-type nang consistent ang mga user ng diacritics o hamza. I-normalise ang naka-index na kopya at bawat query gamit ang iisang function:

| Patakaran | Mga character | Bakit |
| --- | --- | --- |
| Pag-isahin ang alef | أ إ آ ٱ → ا | Madalas nilalaktawan ang hamza sa pag-type |
| Alef maqsura | ى → ي | Karaniwan sa Egyptian na pag-type at maluwag na spelling |
| Ta marbuta | ة → ه | ه ang tina-type ng mga user sa dulo ng salita |
| Tanggalin ang diacritics | U+064B hanggang U+0652, U+0670 | Walang patinig ang karamihan ng text at query |
| Alisin ang tatweel | ـ (U+0640) | Pandekorasyong pagpapahaba |
| Mga digit | ٠–٩ → 0–9 | Mag-match ng numero sa alinmang anyo |

Subukan ang bawat opsyon sa sarili mong text gamit ang [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/), na sumusulat din ng katugmang Python function.

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

Nasa [Unicode Arabic chart](https://www.unicode.org/charts/PDF/U0600.pdf) ang mga code point. Dalawang paalala:

-   **Huwag kailanman ipakita ang normalised na text.** Itago ang orihinal sa tabi nito, at ang orihinal ang i-display, i-cite at ipadala sa LLM. Mukhang mali-mali ang spelling ng normalised na Arabic sa mga mambabasa.
-   **May mga pagsasamang nagpapawala ng kahulugan.** Pinagsasama ng ة → ه ang ilang pares ng salita, at pinagsasama ng ى → ي ang “على” (sa ibabaw) at “علي” (Ali). Para sa search recall, kadalasang sulit ang palitang iyan; i-test ito sa sarili mong mga query.

Sentral din ang parehong mga patakaran sa [pagsukat ng accuracy ng Arabic speech recognition](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/), kaya puwede mong gamitin ang iisang function sa buong stack mo.

## Paano dapat i-chunk ang mga Arabic na dokumento?

-   **Hatiin ayon sa istruktura.** Natural na hangganan ang mga heading, ang mga numbered na artikulo sa kontrata (المادة ١، المادة ٢) at ang mga paragraph break.
-   **Ilang daang salita kada chunk,** na may isa o dalawang pangungusap na overlap. Mas maraming morpheme ang dala ng isang Arabic na salita kaysa sa English, kaya mas maraming kahulugan ang sakop ng isang chunk kada salita kaysa sa ipinapahiwatig ng haba nito.
-   **Hangganan ng pangungusap:** hatiin sa . ؟ ! at sa Arabic comma ، bilang huling paraan lang. Maraming Arabic text ang gumagamit ng mahahabang pangungusap na pinagdudugtong ng و, kaya mas ligtas ang paghahati kada paragraph.
-   **Magdala ng context.** Lagyan ang bawat chunk sa unahan ng pamagat ng dokumento at heading ng section, sa Arabic, para ang chunk na nagsasabing “تُطبَّق هذه الرسوم” (ilalapat ang mga bayaring ito) ay nagsasabi pa rin kung aling mga bayarin.

Ginagawa ng [RAG chunking calculator](https://broadrouter.com/tools/rag-chunking-calculator/) ang chunk size, overlap at top-k na bilang ng chunk, token kada query at buwanang gastos.

## Bakit pagsasamahin ang keyword search at embeddings?

### Keyword search

Tinatalo ng Arabic morphology ang simpleng keyword matching: lahat ng كتاب, الكتاب, بالكتاب, وكتابه at كتب ay may kinalaman sa “aklat”. Gumamit ng analyzer na kayang humawak ng Arabic. May kasamang [Arabic language analyzer](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html) ang Elasticsearch na pinagdudugtong ang Arabic stop words, digit normalisation, Arabic normalisation at isang Arabic stemmer, kaya mas madalas mag-match ang mga anyong may prefix gaya ng الكتاب at وكتاب. Suriin kung ano ang pinagsasama nito sa sarili mong bokabularyo bago ka umasa rito.

### Embeddings

Ginagawang vector ng mga [embedding model](https://broadrouter.com/fil/glossary/embeddings/) ang text para magkalapit ang mga passage na magkahawig ang kahulugan, kahit walang parehong salita. Para sa Arabic, pumili ng multilingual na model at i-test ito:

-   **Piliin ang mga model na sinanay sa maraming wika,** gaya ng [BGE M3](https://arxiv.org/abs/2402.03216), na ayon sa mga gumawa nito ay sumusuporta sa higit 100 working language. Mahina ang mga Arabic vector ng mga English-only na model.
-   **I-test ang cross-language retrieval** kung nagtatanong ang mga user sa English tungkol sa mga Arabic na dokumento, o baligtad.
-   **I-embed ang orihinal o ang normalised na text, pero maging consistent** sa pagitan ng mga dokumento at query. I-test ang dalawa; nag-iiba ang resulta ayon sa model.

Walang embeddings endpoint ang BroadNet Inference: chat completions at audio transcriptions ang mga naka-dokumentong endpoint nito. Gumamit ng embedding provider na pinagkakatiwalaan mo, o mag-host ng open multilingual embedding model sa isang [vector database](https://broadrouter.com/fil/glossary/vector-database/), at gamitin ang BroadNet para sa generation. Kinukuwenta ng [embedding cost calculator](https://broadrouter.com/tools/embedding-cost-calculator/) ang presyo ng indexing at query sa iba’t ibang provider.

### Pagsamahin at i-rerank

Patakbuhin ang dalawang search, pagsamahin ang resulta gamit ang reciprocal rank fusion (i-score ang bawat dokumento sa kabuuan ng 1 / (k + rank) sa lahat ng listahan), at itago ang nangungunang 10 hanggang 30 passage. Puwede pa itong bawasan ng isang reranker o mabilis na relevance check gamit ang LLM, pero sa mga long-context model, madalas puwede mo na itong laktawan.

## Paano gumawa ng sagot na may citation?

Ibigay sa model ang mga passage na may id at sabihing sumagot mula lang sa mga ito:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

Ang sinasabi ng Arabic na system prompt: “Sagutin ang tanong ng user sa simpleng Modern Standard Arabic, batay lang sa mga kalakip na passage. Ilagay ang numero ng passage sa square bracket pagkatapos ng bawat impormasyon. Kung hindi mo makita ang sagot sa mga passage, sabihin ito nang malinaw.” Gumagana rin nang kasinghusay ang mga English na instruction; ang mahalaga ay ang patakarang sumagot mula lang sa mga passage at mag-cite.

Ilagay ang mga passage bago ang tanong. Kung lumalabas ang parehong mga dokumento sa maraming request, panatilihin sila sa parehong pagkakasunod sa simula ng prompt para mailapat ang presyo ng cached input; tingnan ang [cached input tokens](https://broadrouter.com/fil/blog/cached-input-tokens-explained/).

### Aling model?

| Model | Context | Bakit |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) | 1,048,576 | Pinakamababang cached-input rate sa tatlong ito sa BroadNet ($0.0055 kada 1M token), may espasyo para sa maraming passage, may flat na plan |
| [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) | 1,048,576 | Tools at structured output para sa agentic retrieval |
| [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) | 262,144 | Sinubok ito ng BroadNet sa Arabic: matatas sumulat, naiintindihan ang mga Gulf at Egyptian dialect |

Sa context na isang milyong token, puwede kang kumuha ng maraming passage, halimbawa 50 sa halip na 5, at hayaang pumili ang model. Nababawasan nito ang pinsala kapag pang-12 ang ranggo ng tamang passage sa retrieval. Para sa maliliit na set ng dokumento, baka hindi mo na kailangan ng retrieval; tingnan ang [long context vs RAG](https://broadrouter.com/fil/blog/long-context-vs-rag/) at alamin kung kasya ang corpus mo gamit ang [context window calculator](https://broadrouter.com/tools/context-window-calculator/). Nasa [pricing page](https://broadrouter.com/fil/pricing/) ang presyo ng lahat ng model.

## Paano i-evaluate ang Arabic RAG?

1.  Sumulat ng 50 hanggang 100 totoong tanong, sa halo ng MSA, dialect at English na talagang tina-type ng mga user mo.
2.  Markahan ang passage na sumasagot sa bawat isa.
3.  Sukatin muna ang retrieval: nasa top 10 ba ang tamang passage? Ikumpara ang keyword lang, embeddings lang at hybrid, may normalisation at wala.
4.  Saka sukatin ang mga sagot: tama, may citation, at “hindi nakita” kapag wala ang sagot.
5.  Sadyang isama ang mga query na mali ang spelling at naka-dialect. “وين الفاتوره” (Gulf/Levantine: nasaan ang invoice) ang isinusulat ng mga user, hindi “أين الفاتورة”.

Ayusin ang retrieval bago palitan ang generation model: kung hindi kailanman umaabot sa prompt ang tamang passage, walang model na makakapag-cite nito.

Mga libreng tool para rito (Ingles)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Embeddings](https://broadrouter.com/fil/glossary/embeddings/)

Ang embeddings ay mga listahan ng floating-point na numero (vector) na binubuo ng isang model para kumatawan sa isang piraso ng text, larawan o ibang input. Magkakalapit ang vector ng mga input na magkatulad ang kahulugan, kaya magagamit ang layo ng mga vector para i-rank ang search results, i-cluster ang mga dokumento o hanapin ang magkakaugnay na item.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Cached input token (cached input tokens)](https://broadrouter.com/fil/glossary/cached-input-tokens/)

Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.

[Modern Standard Arabic (MSA)](https://broadrouter.com/fil/glossary/msa/)

Ang Modern Standard Arabic (MSA) ay ang standardized na anyo ng Arabic na ginagamit sa pagsulat, balita, edukasyon at pormal na pananalita sa buong mundong Arabo. Hindi ito katutubong pang-araw-araw na wika ninuman: mga rehiyonal na dialect gaya ng Egyptian o Gulf Arabic ang sinasalita, at lumilipat sa MSA sa pormal na sitwasyon.

[Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/)

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

[BM25](https://broadrouter.com/fil/glossary/bm25/)

Ang BM25 (Okapi BM25) ay ranking function para sa keyword search na nagbibigay ng score sa dokumento batay sa kung gaano kadalas lumalabas dito ang mga termino ng query, kung gaano kabihira ang mga terminong iyon sa buong collection, at kung gaano kahaba ang dokumento. Ito ang default na similarity sa Lucene at Elasticsearch.

## Mga tanong

### May embeddings ba ang BroadNet Inference?

Wala. Chat completions at audio transcriptions ang mga naka-dokumentong endpoint nito. Gumamit ng embedding model mula sa ibang provider o patakbuhin mo mismo ang isang open multilingual embedding model, at gamitin ang BroadNet para sa generation step.

### Dapat ko bang i-normalise ang ta marbuta papuntang ha?

Para sa search, kadalasan oo, dahil pareho itong tina-type ng mga user. Napagsasama nito ang ilang magkaibang salita, pero sa karamihan ng corpus mas malaki ang pakinabang sa recall. Itago ang orihinal na text para sa display at citation.

### Gaano kalaki dapat ang mga Arabic chunk?

Magsimula sa isa hanggang tatlong paragraph, ilang daang salita, na may kaunting overlap. Hatiin sa mga heading at paragraph break, hindi sa gitna ng pangungusap, at isama ang pamagat ng dokumento sa bawat chunk.

### Aling embedding model ang gumagana para sa Arabic?

Gumamit ng multilingual na model at i-test ito sa sarili mong mga Arabic na query. Halimbawa, inilalarawan ng mga gumawa ng BGE M3 na sinusuportahan nito ang retrieval sa higit 100 working language. Mahina ang mga Arabic vector ng mga English-only na embedding model.

### Puwede bang mag-search ang mga user sa English at makahanap ng mga Arabic na dokumento?

Oo, gamit ang multilingual embedding model na naglalagay sa dalawang wika sa iisang space, o sa pag-translate ng query gamit ang LLM bago ang keyword search. Tahasang i-test ang mga cross-language na query.

## Magbasa pa

-   [Long context vs RAG: kailan pinapalitan ng 1M token ang vector DB](https://broadrouter.com/fil/blog/long-context-vs-rag/)
-   [Arabic ASR word error rate (WER), ipinaliwanag](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/)
-   [Arabic prompt engineering: register, RTL, numeral at halo-halong text](https://broadrouter.com/fil/blog/arabic-prompt-engineering/)
-   [Pagpili ng LLM API para sa Arabic: ano ang dapat i-test](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/)
-   [Diacritics sa Arabic text gamit ang LLM: prompt, check at DER](https://broadrouter.com/fil/blog/arabic-diacritization-llm/)
-   [Arabic grammar at spelling correction gamit ang LLM: paano gawin](https://broadrouter.com/fil/blog/arabic-grammar-spelling-correction-llm/)
-   [Gabay: Paano gamitin ang LangChain sa BroadNet Inference](https://broadrouter.com/fil/guides/langchain-openai-base-url/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-arabic-rag-search&utm_content=page-cta) ·

**Mga source**

-   [Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401; sinuri noong 2026-11-14)](https://arxiv.org/abs/2005.11401)
-   [Chen et al., M3-Embedding: higit 100 working language (arXiv 2402.03216; sinuri noong 2026-11-14)](https://arxiv.org/abs/2402.03216)
-   [Mga language analyzer ng Elasticsearch, mga filter ng arabic analyzer (sinuri noong 2026-11-14)](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Unicode Arabic code chart, U+0600 hanggang U+06FF (sinuri noong 2026-11-14)](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [API reference ng BroadNet Inference, mga available na endpoint (sinuri noong 2026-11-14) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-arabic-rag-search&utm_content=sources)
