BroadRouter

LLM से अरबी टेक्स्ट का सारांश: प्रॉम्प्ट, लंबाई और स्कोरिंग

BroadNet Inference टीम · 7 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

प्रॉम्प्ट में भाषा का रूप (बोली वाले इनपुट के लिए भी आमतौर पर मानक आधुनिक अरबी) और शब्दों की रेंज लिखें। फिर कोड में जाँचें: शब्द गिनें, पक्का करें कि सारांश की हर संख्या स्रोत में है, और समस्या बताकर एक बार रीट्राई करें। स्कोरिंग अरबी समझने वाले ROUGE tokenizer और इंसानी समीक्षा से करें; डिफ़ॉल्ट rouge-score अरबी को 0 देता है।

LLM से अरबी टेक्स्ट का सारांश बनाना एक अनुरोध का काम है। ऐसे सारांश पाना जिन्हें आप ship कर सकें, तीन फ़ैसले माँगता है जो अनुरोध आपके लिए नहीं लेता: किस भाषा-रूप में लिखना है, सारांश कितना लंबा हो, और आप कैसे जानेंगे कि वह सही है। यह पोस्ट लिखे हुए टेक्स्ट के बारे में है: लेख, रिपोर्ट, टिकट और लंबे मैसेज थ्रेड। बोली गई मीटिंग के लिए अरबी मीटिंग मिनट्स पाइपलाइन ट्रांसक्रिप्शन का चरण और सेक्शन-दर-सेक्शन merging जोड़ती है।

अरबी summarization प्रॉम्प्ट में क्या लिखा होना चाहिए?

ज़्यादातर नतीजा पाँच लाइनें तय करती हैं:

  1. भाषा और रूप। “मानक आधुनिक अरबी” (الفصحى), या किसी बोली का नाम। इसके बिना, मिस्री या खाड़ी इनपुट का सारांश बनाता मॉडल मिली-जुली भाषा में जवाब दे सकता है।
  2. शब्दों की रेंज। “40 से 60 शब्द”। सटीक संख्या की तुलना में रेंज पर पहुँचना आसान है।
  3. तथ्य जैसे लिखे हैं। संख्याएँ, तारीख़ें और नाम टेक्स्ट से कॉपी किए हुए, न गोल किए हुए, न बदले हुए।
  4. कुछ नया नहीं। ऐसी कोई पृष्ठभूमि नहीं जो टेक्स्ट में न हो।
  5. आकार। एक पैराग्राफ़, या तीन बुलेट पॉइंट, या तय फ़ील्ड वाला JSON।

निर्देश अरबी या अंग्रेज़ी में हो सकते हैं; दोनों हालात में आउटपुट की भाषा और रूप साफ़ लिखें। अरबी प्रॉम्प्ट इंजीनियरिंग भाषा-रूप, अंकों और मिली-जुली लिपि वाले टेक्स्ट को और गहराई से कवर करती है। नीचे के कोड में यही प्रॉम्प्ट इस्तेमाल हुआ है:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

बोली वाले टेक्स्ट का सारांश कैसे बनाएँ?

अरबी का ज़्यादातर बिज़नेस टेक्स्ट MSA नहीं होता: ग्राहकों के रिव्यू, WhatsApp थ्रेड और सोशल पोस्ट बोली में होते हैं, अक्सर अंग्रेज़ी या Arabizi के साथ मिले हुए। तीन फ़ैसले मदद करते हैं:

  • डिफ़ॉल्ट रूप से MSA में सारांश बनाएँ। यह हर इलाक़े के लिए तटस्थ है और खोजना आसान है। अगर सारांश उसी ग्राहक को वापस जाता है, तो उसकी बोली से मेल खाएँ।
  • अहम उद्धरण शब्दशः रखें। जहाँ लहजा मायने रखता है, जैसे शिकायत में, वहाँ मूल शब्दों में एक छोटा उद्धरण माँगें। बोली को MSA में बदलने से बात नरम पड़ सकती है।
  • अपनी बोलियों पर टेस्ट करें। बोली की समझ मॉडल-दर-मॉडल बदलती है; देखें LLM खाड़ी और मिस्री अरबी को कैसे संभालते हैं।

सार्वजनिक डेटा यह टेस्टिंग आपके लिए नहीं करेगा। बड़े अरबी summarization सेट MSA समाचार हैं, और हमें खाड़ी या मिस्री summarization का कोई सार्वजनिक benchmark नहीं मिला जिसकी ओर हम इशारा कर सकें।

सारांश की लंबाई कैसे कंट्रोल करें?

शब्दों में माँगें, फिर शब्दों में मापें। मॉडल की अपनी गिनती पर भरोसा न करें, और इकाई के रूप में टोकन बजट इस्तेमाल न करें: एक अरबी शब्द में कितने टोकन होते हैं, यह मॉडल पर निर्भर है। हमने आधिकारिक Qwen3.8 27B tokenizer से 96 शब्दों के एक अरबी समाचार पैराग्राफ़ को 166 टोकन और उसके 58 शब्दों के सारांश को 114 टोकन मापा। BroadNet के चार चैट मॉडल के tokenizer पर, अरबी टोकन काउंटर की tokenizer फ़ाइलों से गिनने पर, वही पैराग्राफ़ 166 से 224 टोकन के बीच रहा। बड़ा माप अरबी में प्रति शब्द टोकन में है।

ज़्यादातर कामों के लिए whitespace पर बाँटना सही गिनती है, क्योंकि पाठक यही देखते हैं। अरबी و, ب, ل और ال को शब्द से जोड़ देती है, इसलिए 50 शब्दों का अरबी सारांश 50 अंग्रेज़ी शब्दों से ज़्यादा सामग्री रखता है। अपनी रेंज पसंद आए अरबी उदाहरणों से तय करें, अंग्रेज़ी लक्ष्य से नहीं।

लंबाई के दो और नियम:

  • max_tokens लंबाई का कंट्रोल नहीं है। यह जवाब को वाक्य के बीच में काट देता है। इसे सारांश के आकार से काफ़ी ऊपर रखें, ख़ासकर reasoning मॉडल पर: BroadNet के docs कहते हैं कि DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले reasoning करते हैं, और वह reasoning max_tokens में गिनी जाती है। देखें reasoning मॉडल से ख़ाली जवाब।
  • संख्या के साथ एक बार रीट्राई करें। “आपका सारांश 17 शब्दों का है; मैंने 40 से 60 माँगे थे” निर्देश दोहराने से ज़्यादा ठीक करता है।

मनगढ़ंत जानकारी कैसे पकड़ें?

abstractive summarizer चीज़ें गढ़ लेते हैं। Maynez et al. (ACL 2020) ने उन सभी मॉडल सारांशों में “substantial amounts of hallucinated content” (अनुवाद: काफ़ी मात्रा में मनगढ़ंत सामग्री) पाई जिनकी उनके annotators ने समीक्षा की; यह आज के LLM से पहले की बात है, लेकिन कोई मॉडल इससे अछूता नहीं है। अर्थ को कोड में सस्ते में नहीं जाँचा जा सकता, लेकिन संख्याएँ जाँची जा सकती हैं: सारांश की हर संख्या स्रोत में होनी चाहिए। पहले पूर्वी अरबी अंक (٠–٩) और फ़ारसी अंक (۰–۹) को 0–9 में बदलें, वरना ١٢ और 12 अलग दिखेंगे।

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

हमने इसे एक लोकल mock सर्वर पर टेस्ट किया (कोई live API कॉल नहीं), शहर की बस योजना पर 96 शब्दों के एक कृत्रिम लेख के साथ। mock का पहला जवाब 17 शब्दों का था और उसमें ٣٠٠ बसें लिखी थीं, जबकि लेख में ٢٤٠ थीं। check ने दोनों समस्याएँ लौटाईं: मापी गई लंबाई, और “numbers not in the text: 300” (अनुवाद: ऐसी संख्याएँ जो टेक्स्ट में नहीं हैं: 300)। दूसरा, सुधरा हुआ जवाब 58 शब्दों पर पास हुआ, इसलिए फ़ंक्शन ने उसे attempts: 2 के साथ लौटाया।

संख्या की जाँच कुछ चीज़ें छोड़ देती है: ग़लत नाम, उलटा फ़ैसला, बिना संख्या वाला कोई दावा। यह एक फ़िल्टर है, फ़ैसला नहीं। नामों के लिए अरबी named entity extraction वाली span जाँच दोबारा इस्तेमाल करें: सारांश से entities निकालें और पक्का करें कि हर एक स्रोत में है।

लंबे अरबी दस्तावेज़ों का सारांश कैसे बनाएँ?

अगर टेक्स्ट कॉन्टेक्स्ट विंडो में आराम से आ जाता है, तो पूरा भेजें। Qwen3.8 27B प्रति अनुरोध 262,144 टोकन लेता है और GLM 5.3 1,048,576, प्रॉम्प्ट और जवाब मिलाकर; Gemma 4 VL 26B 32,768 लेता है। लेकिन लंबे इनपुट की एक जानी-मानी कमज़ोरी है: मॉडल लंबे कॉन्टेक्स्ट के बीच वाले तथ्यों का कम भरोसेमंद इस्तेमाल करते हैं (lost in the middle)। लंबी रिपोर्ट के लिए हर सेक्शन का सारांश बनाएँ, फिर सारांशों का सारांश, और आख़िरी प्रॉम्प्ट में सेक्शन के शीर्षक रखें। मीटिंग वाली पोस्ट merge चरण को कोड में दिखाती है; लंबा कॉन्टेक्स्ट बनाम RAG बताती है कि कब retrieval बेहतर है।

अरबी सारांशों का मूल्यांकन कैसे करें?

तीन परतें इस्तेमाल करें: regressions पकड़ने के लिए एक स्वचालित overlap स्कोर, दूसरी राय के लिए एक semantic स्कोर, और फ़ैसले के लिए इंसान।

ROUGE, सही tokenizer के साथ। Google का rouge-score पैकेज (वर्ज़न 0.1.2, 16 नवंबर 2026 को भी PyPI पर मौजूदा रिलीज़) टेक्स्ट को lowercase करता है और a–z और 0–9 के बाहर के हर कैरेक्टर को space से बदल देता है। अरबी ग़ायब हो जाती है। हमने जाँचा:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

वही दो वाक्य सिर्फ़ tokenization के आधार पर 0, 0.6 या 0.8 स्कोर करते हैं। असली सबक़ यही है: अरबी की शब्द-रचना (للنقل बनाम النقل, بإضافة बनाम تضيف) ROUGE को बहुत हिलाती है, इसलिए tokenizer बताए बिना कोई स्कोर बेमानी है। XL-Sum के लेखक भाषा-विशेष stemming वाला एक बहुभाषी ROUGE fork प्रकाशित करते हैं, जिसमें अरबी भी है; उसे या अपना tokenizer इस्तेमाल करें, और जिन runs की तुलना करते हैं उन सब में उसे एक जैसा रखें।

BERTScore embeddings के ज़रिए अर्थ की तुलना करता है, इसलिए पैराफ़्रेज़ सह लेता है। अंग्रेज़ी और चीनी के अलावा भाषाओं के लिए इसका डिफ़ॉल्ट मॉडल bert-base-multilingual-cased है। इसे दूसरा संकेत मानें, पढ़ने का विकल्प नहीं।

इंसान, एक rubric के साथ। किसी अरबी पाठक से 50 से 100 सारांशों को तीन सवालों पर स्कोर करवाएँ: क्या कुछ अहम छूटा है, क्या कुछ ऐसा कहा गया है जो स्रोत नहीं कहता, और क्या भाषा-रूप सही है। एक LLM judge बड़ी मात्रा में पहली छँटाई कर सकता है, जब एक सैंपल पर उसके स्कोर आपके पाठकों से मेल खाने लगें। स्विच करने से पहले LLM का मूल्यांकन वह सेट बनाना कवर करता है।

सार्वजनिक रेफ़रंस डेटा के लिए:

डेटासेट इसमें क्या है टिप्पणी
XL-Sum अरबी BBC अरबी के 46,897 लेख और सारांश जोड़े (37,519 / 4,689 / 4,689) CC BY-NC-SA 4.0: सिर्फ़ गैर-व्यावसायिक रिसर्च
EASC 153 लेख, हर एक के साथ इंसानों के बनाए पाँच extractive सारांश छोटा; Wikipedia और दो अख़बार
LANS 22 अरब अख़बारों से सारांश सहित 8.4 मिलियन लेख, 1999 से 2019 सारांश साइट के metadata से आते हैं

तीनों MSA समाचार हैं। आपके सपोर्ट टिकट और रिपोर्ट नहीं हैं, इसलिए असली टेस्ट आपके अपने टेक्स्ट का एक सैंपल है, जिसका सारांश किसी इंसान ने बनाया हो।

कौन-सा BroadNet मॉडल इस्तेमाल करें, और लागत कितनी है?

पायलट के लिए Gemma 4 VL 26B $5 के शुरुआती क्रेडिट पर चलता है, प्रति 1M टोकन $0.10 इनपुट और $0.22 आउटपुट पर; इसकी 32,768-टोकन विंडो में ज़्यादातर अकेले लेख आ जाते हैं। Qwen3.8 27B, जिसे BroadNet धाराप्रवाह अरबी लेखन और खाड़ी व मिस्री बोली की समझ के लिए टेस्ट करने की रिपोर्ट करता है, टॉप-अप के बाद $0.175 इनपुट और $2.17 आउटपुट का है। जब एक दस्तावेज़ Qwen की विंडो से लंबा हो, तब GLM 5.3 इस्तेमाल करें।

1,000 टोकन वाले 10,000 लेखों का हिसाब, 150-टोकन सारांशों के साथ: 10 मिलियन इनपुट टोकन और 1.5 मिलियन आउटपुट टोकन, तो Qwen3.8 27B पर यह 10 × $0.175 जमा 1.5 × $2.17 है। reasoning टोकन जोड़ें, जो आउटपुट के रूप में बिल होते हैं, और कोई भी रीट्राई; दोनों को एक सैंपल पर usage ब्लॉक से मापें। अगर हर लेख के लिए प्रॉम्प्ट एक ही है, तो उसे सबसे पहले रखें ताकि वह कैश्ड इनपुट दर पर बिल हो सके।

BroadNet Inference कहाँ फ़िट होता है

BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference summarization का चरण एक OpenAI-compatible API से देता है, इसलिए ऊपर का कोड OpenAI Python SDK के साथ चलता है। इसके docs कहते हैं कि अनुरोध के बाद प्रॉम्प्ट और जवाब नहीं रखे जाते। यह अपना कोई अरबी summarization benchmark प्रकाशित नहीं करता, और यहाँ कुछ भी इसके मॉडल पर सारांश की गुणवत्ता नहीं मापता; ऊपर की जाँचें अपने टेक्स्ट पर चलाएँ। बोले गए इनपुट के लिए इसे BroadNet Transcribe Arabic के साथ जोड़ें, जैसा मीटिंग मिनट्स पोस्ट में है।

अक्सर पूछे जाने वाले सवाल

क्या LLM अरबी टेक्स्ट का अच्छा सारांश बना सकता है?

हाँ, लेकिन धाराप्रवाह होना सही होने जैसा नहीं है। लंबाई और संख्याएँ कोड में जाँचें, और भरोसा करने से पहले किसी अरबी पाठक से एक सैंपल पर छूटे बिंदुओं और मनगढ़ंत जानकारी का स्कोर करवाएँ।

बोली वाले टेक्स्ट का सारांश बोली में हो या MSA में?

आमतौर पर MSA में, क्योंकि यह तटस्थ लगता है और हर इलाक़े में खोजा जा सकता है। जहाँ शब्द मायने रखते हैं, जैसे शिकायत में, वहाँ छोटे उद्धरण मूल बोली में रखें। प्रॉम्प्ट में बताएँ कि आपको क्या चाहिए; वरना मॉडल दोनों के बीच भटकते हैं।

मेरे अरबी सारांशों को ROUGE 0 क्यों देता है?

आम तौर पर इस्तेमाल होने वाला rouge-score Python पैकेज डिफ़ॉल्ट रूप से a-z और 0-9 के बाहर के कैरेक्टर को space से बदल देता है, इसलिए अरबी टेक्स्ट से कोई token नहीं बनता। अपना tokenizer दें, या XL-Sum के लेखकों का बहुभाषी ROUGE fork इस्तेमाल करें।

अरबी सारांश की लंबाई कैसे कंट्रोल करूँ?

टोकन संख्या नहीं, शब्दों की रेंज माँगें, और जवाब को whitespace पर बाँटकर मापें। चूक हो तो मापी गई लंबाई के साथ एक बार दोबारा भेजें। याद रखें कि अरबी शब्दों में अक्सर prefix जुड़े होते हैं, इसलिए 50 शब्दों का अरबी सारांश 50 अंग्रेज़ी शब्दों से ज़्यादा अर्थ रखता है।

अरबी summarization टेस्ट करने के लिए कौन-सा डेटासेट इस्तेमाल करूँ?

XL-Sum में BBC अरबी के 46,897 लेख और सारांश जोड़े हैं (गैर-व्यावसायिक लाइसेंस)। EASC में 153 लेख हैं, हर एक के साथ इंसानों के बनाए पाँच extractive सारांश। दोनों MSA समाचार हैं, इसलिए अपने टेक्स्ट, ख़ासकर बोली वाले, का एक सैंपल जोड़ें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें

स्रोत