BroadRouter

LLM से अरबी टेक्स्ट classification: sentiment, intent, triage

BroadNet Inference टीम · 7 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

LLM से अरबी टेक्स्ट classify करने के लिए एक-एक लाइन की परिभाषाओं वाला छोटा लेबल सेट बनाएँ, जो भी बोलियाँ आती हैं उनमें कुछ लेबल किए उदाहरण दें, एक लेबल और सबूत के तौर पर छोटे उद्धरण वाला JSON माँगें, और reasoning low रखें। फिर भरोसा करने से पहले 200 हाथ से लेबल किए संदेशों पर macro F1 से मॉडल को स्कोर करें। fine-tuned अरबी मॉडल अब भी आम LLM से आगे निकल सकते हैं।

अरबी classification के काम हर जगह हैं: यह रिव्यू पॉज़िटिव है या नहीं, यह WhatsApp संदेश शिकायत है या नहीं, यह टिकट किस टीम को जाए, क्या यह urgent है। LLMs से पहले हर काम के लिए लेबल किया डेटासेट और fine-tuned मॉडल चाहिए था। अब आप प्रॉम्प्ट से शुरू कर सकते हैं। यह तेज़ है, लेकिन ऐसा classifier ship कर देना आसान है जो दस उदाहरणों पर अच्छा दिखे और खाड़ी की बोली पर फ़ेल हो। यह पोस्ट प्रॉम्प्ट, आउटपुट फ़ॉर्मैट, टेस्ट और लागत बताती है।

कौन-से classification काम LLM के लिए ठीक हैं?

काम लेबल, उदाहरण के लिए नोट्स
Sentiment positive, negative, neutral, mixed neutral और mixed पर ही इंसान और मॉडल सबसे ज़्यादा असहमत होते हैं
Intent complaint, question, order, cancel, other “other” रखें; ज़बरदस्ती लेबल देने से ग़लतियाँ बनती हैं
टिकट routing billing, delivery, technical, account लेबल अपनी असली टीमों पर आधारित करें
Urgency urgent, normal urgent की एक लाइन में परिभाषा दें: “ग्राहक अभी सेवा इस्तेमाल नहीं कर पा रहा”
बोली या लिपि MSA, Gulf, Egyptian, Levantine, Arabizi सही जवाब template तक route करने में काम का; देखें Arabizi
Topic tags तय सूची से कई लेबल सूची माँगें, उसकी लंबाई सीमित करें

LLM तब ठीक बैठता है जब आपके पास कम लेबल किए उदाहरण हों, लेबल अक्सर बदलते हों, या आपको हर लेबल के साथ वजह चाहिए। fine-tuned classifier तब ठीक बैठता है जब लेबल स्थिर हों, वॉल्यूम बहुत बड़ा हो और आपके पास पहले से हज़ारों लेबल किए उदाहरण हों।

अरबी पर LLMs के बारे में शोध क्या कहता है?

शुरू करने से पहले दो नतीजे जानने लायक हैं:

  • fine-tuned अरबी मॉडल जीत सकते हैं। GPTAraEval ने ChatGPT को 44 अरबी कामों पर टेस्ट किया और पाया कि यह “consistently surpassed by smaller models that have undergone finetuning on Arabic” (अनुवाद: अरबी पर fine-tune हुए छोटे मॉडलों से लगातार पीछे) रहा। लेखकों ने बोलियों पर मानक आधुनिक अरबी से कमज़ोर नतीजे भी पाए (Khondaker et al.)।
  • बोली-सजग प्रॉम्प्ट मदद करते हैं। MSA, सऊदी बोली और मोरक्कन दारिजा में sentiment पर DeepSeek-R1, Qwen2.5 और LLaMA-3 का RANLP 2025 अध्ययन रिपोर्ट करता है कि बोली-सजग प्रॉम्प्टिंग से सटीकता बढ़ी, ख़ासकर neutral और negative classes में (Alharbi et al.)।

ये आपके इस्तेमाल वाले मॉडलों से पुराने या अलग मॉडल हैं, इसलिए इन्हें दिशा मानें, आँकड़े नहीं। सबक़ क़ायम है: अपने संदेशों पर, हर बोली में अलग से मापें।

लेबल कैसे डिज़ाइन करें?

यहीं से शुरू करें, मॉडल से नहीं।

  1. सूची छोटी रखें। हर सवाल के लिए चार से आठ लेबल। अलग सवाल (sentiment, intent, urgency) अलग फ़ील्ड के रूप में पूछें, एक विशाल सूची में नहीं।
  2. हर लेबल की एक लाइन में परिभाषा दें, साथ में यह कि वह क्या नहीं है: “complaint: ग्राहक ख़रीदी हुई किसी चीज़ में समस्या बताता है। कीमत के बारे में सवाल नहीं।”
  3. एक बचाव वाला लेबल जोड़ें, जैसे other या unclear।
  4. mixed मामले पहले से तय करें। “डिलीवरी देर से आई लेकिन ड्राइवर भला था” mixed है, neutral नहीं। यह नियम लिख लें।

टेक्स्ट अरबी होने पर भी लेबल की परिभाषाएँ अंग्रेज़ी में हो सकती हैं। लेबल के मान अंग्रेज़ी में रखें ताकि आपका कोड अरबी string matching पर निर्भर न हो।

अरबी classification के लिए कौन-सा प्रॉम्प्ट काम करता है?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

हर हिस्सा क्यों है:

  • बोली वाली लाइन मॉडल को बताती है कि क्या उम्मीद करे; यही वह बोली-सजग प्रॉम्प्टिंग है जिसे RANLP अध्ययन ने मददगार पाया।
  • एक से ज़्यादा बोली में उदाहरण। ऊपर के उदाहरण खाड़ी और मिस्री बोली मिलाते हैं। अपने ट्रैफ़िक से असली (गुमनाम किए) संदेश इस्तेमाल करें।
  • उद्धरण के रूप में सबूत समीक्षक को एक सेकंड में लेबल जाँचने देता है, और अनुमान पकड़ना आसान बनाता है।
  • reasoning_effort="low"। Qwen3.8 27B, GLM 5.3 और DeepSeek V4.1 Flash जवाब से पहले reasoning करते हैं, और reasoning max_tokens में गिनी जाती है। BroadNet के डॉक्स reasoning_effort को low रखने या 1,000 या ज़्यादा टोकन छोड़ने का सुझाव देते हैं। वरना जवाब ख़ाली क्यों लौटते हैं।
  • अनजान लेबल कोड में अस्वीकार करें। मॉडल के सूची में रहने पर कभी भरोसा न करें।

ज़्यादा सख़्त आउटपुट अनुबंध के लिए JSON mode बनाम json_schema देखें। BroadNet GLM 5.3 और Qwen3.8 27B के लिए structured output सूचीबद्ध करता है।

BroadNet का कौन-सा मॉडल इस्तेमाल करें?

मॉडल क्यों चुनें इनपुट / आउटपुट प्रति 1M टोकन
Qwen3.8 27B BroadNet ने अरबी में टेस्ट किया: खाड़ी और मिस्री बोलियाँ समझी गईं; structured output सूचीबद्ध $0.175 / $2.17
BroadNet Gemma 4 VL 26B BroadNet पर सबसे कम प्रति-टोकन कीमत; $5 के शुरुआती क्रेडिट पर चलता है; structured output सूचीबद्ध नहीं, इसलिए आउटपुट सख़्ती से validate करें $0.10 / $0.22
DeepSeek V4.1 Flash flat प्लान पर भी, $60 प्रति माह प्रति सेशन, एक समय में एक अनुरोध $0.175 / $0.52
GLM 5.3 structured output सूचीबद्ध; चारों में सबसे ऊँची कीमत $0.78 / $3.46

अपना टेस्ट सेट पहले Qwen3.8 27B और Gemma 4 VL 26B पर चलाएँ। अगर Gemma के स्कोर काफ़ी क़रीब हैं, तो छोटे लेबलों के लिए वह सस्ता विकल्प है। चुनाव अपने आँकड़ों पर करें, इस टेबल पर नहीं।

classifier को कैसे टेस्ट करें?

  1. 200 असली संदेशों को हाथ से लेबल करें, किसी मूल वक्ता के साथ, ऊपर की लेबल परिभाषाओं से। जो भी बोलियाँ आती हैं सब शामिल करें, हर एक के कम से कम 30।
  2. मॉडल को सभी 200 पर चलाएँ।
  3. macro F1 निकालें, यानी हर लेबल के F1 स्कोर का औसत, ताकि दुर्लभ लेबल भी आम लेबलों जितने गिने जाएँ। सिर्फ़ accuracy ऐसे मॉडल को छिपा देती है जो कभी cancel नहीं कहता।
  4. confusion matrix पढ़ें। अगर question और complaint अक्सर आपस में बदलते हैं, तो परिभाषाएँ एक-दूसरे पर चढ़ती हैं: मॉडल बदलने से पहले परिभाषाएँ ठीक करें।
  5. नतीजे बोली के हिसाब से बाँटें। मॉडल MSA में मज़बूत और खाड़ी में कमज़ोर हो सकता है।
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

हर बार प्रॉम्प्ट या मॉडल बदलने पर वही सेट दोबारा चलाएँ। बदलने से पहले LLM का मूल्यांकन कैसे करें एक तय टेस्ट सेट रखना बताती है।

बड़े वॉल्यूम पर classify कैसे करें?

classification में इनपुट भारी होता है: लंबा system प्रॉम्प्ट, छोटा संदेश और एक शब्द का जवाब। तीन लीवर मायने रखते हैं।

प्रति अनुरोध संदेशों को समूह में भेजें। BroadNet की उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चलने देती है। प्रति अनुरोध एक संदेश आपको प्रति key प्रति मिनट 30 संदेशों पर रोक देता है, यानी रोज़ उसका 1,440 गुना। 20 छोटे संदेश क्रमांकित सूची के रूप में भेजें और 20 नतीजों की JSON array माँगें: तब वही rate limit बीस गुना ज़्यादा संदेश कवर करती है। जाँचें कि array की लंबाई मेल खाती है और हर आइटम के साथ उसका नंबर है।

प्रॉम्प्ट का prefix एक जैसा रखें। system प्रॉम्प्ट और उदाहरण हर कॉल में वही हैं। उन्हें पहले और संदेश को आख़िर में रखें, ताकि वे cached-इनपुट कीमत पर cache से पढ़े जा सकें, जैसे Qwen3.8 27B पर प्रति 1M $0.175 की जगह $0.0435। प्रॉम्प्ट कैसे बनाएँ ताकि prefix cache हो।

आउटपुट छोटा रखें। आउटपुट टोकन इनपुट से महँगे हैं। एक लेबल और छोटा उद्धरण काफ़ी है; मॉडल पर भरोसा हो जाए तो evidence फ़ील्ड हटा दें।

अरबी में आमतौर पर अंग्रेज़ी से प्रति शब्द ज़्यादा टोकन लगते हैं, इसलिए अपने संदेशों का नमूना अरबी टोकन काउंटर में गिनें, फिर LLM API लागत कैलकुलेटर में महीने की कीमत निकालें।

किन ग़लतियों से बचें?

  • अंग्रेज़ी अनुवादों पर टेस्ट करना। अनूदित टेक्स्ट वैसा नहीं जैसा आपके ग्राहक लिखते हैं।
  • सभी बोलियों का एक स्कोर। हर बोली अलग रिपोर्ट करें।
  • कोई बचाव वाला लेबल नहीं। हर संदेश को ज़बरदस्ती असली लेबल में डालने से ग़लतियाँ बढ़ती हैं।
  • खुले टेक्स्ट वाले जवाब। “यह negative लगता है” parse नहीं हो सकता। JSON माँगें और validate करें।
  • व्यंग्य को नज़रअंदाज़ करना। “ما شاء الله، ثالث مرة يتأخر الطلب” (माशाअल्लाह, तीसरी बार ऑर्डर देर से आया) शब्द-दर-शब्द पॉज़िटिव लगता है और है शिकायत। ऐसा एक उदाहरण प्रॉम्प्ट में रखें।

LLM कब ग़लत classifier है?

जब लेबल स्थिर हों, आपके पास पहले से हज़ारों लेबल किए उदाहरण हों और वॉल्यूम लाखों में हो, तो fine-tuned अरबी encoder मॉडल आमतौर पर प्रति संदेश सस्ता होता है और, GPTAraEval के अनुसार, ज़्यादा सटीक हो सकता है। इंतज़ार कर सकने वाले बड़े offline कामों के लिए batch API वाला प्रोवाइडर भी सस्ता पड़ सकता है: OpenAI 24 घंटे के भीतर पूरे होने वाले batch कामों पर 50% छूट का विज्ञापन करता है। BroadNet में कोई batch API नहीं है। एक आम पैटर्न है: पहले कुछ हज़ार संदेशों को LLM से लेबल कराना, उन्हें हाथ से जाँचना, और नतीजे पर एक छोटा मॉडल ट्रेन करना।

BroadNet Inference कहाँ फ़िट होता है

BroadNet एक ही OpenAI-compatible API key के पीछे अरबी में टेस्ट किया गया मॉडल (Qwen3.8 27B), शुरुआती क्रेडिट पर चलने वाला सस्ता मॉडल (Gemma 4 VL 26B) और flat-rate विकल्प (DeepSeek V4.1 Flash) देता है, और अनुरोध के बाद संदेश का कोई कंटेंट नहीं रखता। यह उन सपोर्ट टीमों के लिए ठीक है जो ट्रेनिंग पाइपलाइन बनाए बिना अरबी संदेश classify करना चाहती हैं। यह बहुत बड़े offline कामों के लिए ठीक नहीं, जहाँ batch छूट या fine-tuned मॉडल सस्ता पड़ेगा। ऊपर के प्रॉम्प्ट, 200 संदेशों वाले टेस्ट, और टेस्ट सेट बनाने के लिए खाड़ी, मिस्री और लेवेंटाइन बोली वाली पोस्ट से शुरू करें।

अक्सर पूछे जाने वाले सवाल

क्या LLM अरबी sentiment analysis कर सकता है?

हाँ, बिना ट्रेनिंग के, लेबल और उदाहरणों वाले प्रॉम्प्ट से। गुणवत्ता बोली और class के हिसाब से बदलती है: प्रकाशित टेस्ट में मॉडल कई कामों में fine-tuned अरबी मॉडलों से पीछे रहते हैं, और बोलियाँ मानक आधुनिक अरबी से कम स्कोर करती हैं। इसे अपने डेटा पर मापें।

classification के लिए LLM बेहतर है या fine-tuned अरबी BERT मॉडल?

हमेशा LLM नहीं। GPTAraEval ने पाया कि 44 कामों में ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (अनुवाद: अरबी पर fine-tune हुए छोटे मॉडलों से लगातार पीछे) रहा। LLM तब जीतता है जब आपके पास कम लेबल किए उदाहरण हों, लेबल अक्सर बदलते हों, या हर लेबल के साथ वजह चाहिए।

खाड़ी और मिस्री अरबी संदेश कैसे classify करूँ?

मॉडल को हर बोली में लेबल किए उदाहरण दें, बताएँ कि कौन-सी बोलियाँ आएँगी, और हर बोली को अलग स्कोर करें। मिस्री रिव्यू पर अच्छा करने वाला मॉडल भी खाड़ी का व्यंग्य चूक सकता है।

हर बार एक जैसा लेबल कैसे पाऊँ?

तय लेबल सूची इस्तेमाल करें, सिर्फ़ उन्हीं मानों वाला JSON माँगें, temperature 0 रखें, और सूची से बाहर का हर जवाब अस्वीकार करें। एक ही उदाहरण एक ही क्रम में भेजें ताकि नतीजे दोहराए जा सकें।

BroadNet पर रोज़ कितने संदेश classify कर सकता हूँ?

उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 देती है। प्रति अनुरोध एक संदेश पर यह प्रति key प्रति मिनट अधिकतम 30 संदेश है, यानी रोज़ उसका 1,440 गुना। हर अनुरोध में 20 छोटे संदेश डालने से यह बीस गुना बढ़ जाता है, कॉन्टेक्स्ट सीमा के भीतर।

क्या BroadNet में bulk classification के लिए batch API है?

नहीं। BroadNet सिर्फ़ chat completions और ट्रांसक्रिप्शन दस्तावेज़ित करता है। बड़े offline कामों के लिए प्रति अनुरोध संदेशों को समूह में भेजें, या batch API वाले प्रोवाइडर से तुलना करें; OpenAI का Batch API 24 घंटे की खिड़की के साथ 50% छूट का विज्ञापन करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें