BroadRouter

LLM سے عربی متن کی classification: sentiment، intent، triage

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

LLM سے عربی متن classify کرنے کے لیے ایک ایک لائن کی تعریفوں والا چھوٹا لیبل سیٹ بنائیں، جو لہجے آتے ہیں ان میں چند لیبل شدہ مثالیں دیں، ایک لیبل اور ثبوت کے طور پر مختصر اقتباس والا JSON مانگیں، اور ریزننگ low رکھیں۔ بھروسہ کرنے سے پہلے 200 ہاتھ سے لیبل شدہ پیغامات پر macro F1 سے ماڈل کو اسکور کریں۔ fine-tuned عربی ماڈلز پھر بھی عام LLM سے بہتر ہو سکتے ہیں۔

عربی classification کے کام ہر جگہ ہیں: یہ ریویو مثبت ہے یا نہیں، یہ WhatsApp پیغام شکایت ہے یا نہیں، یہ ٹکٹ کس ٹیم کو جائے، کیا یہ فوری ہے۔ LLMs سے پہلے ہر کام کے لیے لیبل شدہ ڈیٹاسیٹ اور fine-tuned ماڈل چاہیے تھا۔ اب آپ پرامپٹ سے شروع کر سکتے ہیں۔ یہ تیز ہے، لیکن ایسا classifier ship کر دینا آسان ہے جو دس مثالوں پر اچھا دکھے اور خلیجی لہجے پر ناکام ہو۔ یہ پوسٹ پرامپٹ، آؤٹ پٹ فارمیٹ، ٹیسٹ اور لاگت بیان کرتی ہے۔

کون سے classification کام LLM کے لیے موزوں ہیں؟

کام لیبل، مثال کے طور پر نوٹس
Sentiment positive، negative، neutral، mixed neutral اور mixed پر ہی انسان اور ماڈل سب سے زیادہ اختلاف کرتے ہیں
Intent complaint، question، order، cancel، other “other” رکھیں؛ زبردستی لیبل دینے سے غلطیاں بنتی ہیں
ٹکٹ routing billing، delivery، technical، account لیبلز اپنی اصل ٹیموں پر مبنی رکھیں
Urgency urgent، normal urgent کی ایک لائن میں تعریف دیں: “گاہک ابھی سروس استعمال نہیں کر پا رہا”
لہجہ یا رسم الخط MSA، Gulf، Egyptian، Levantine، Arabizi درست جوابی template تک route کرنے میں مفید؛ دیکھیں Arabizi
Topic tags مقررہ فہرست سے کئی لیبل فہرست مانگیں، اس کی لمبائی محدود کریں

LLM تب موزوں ہے جب آپ کے پاس کم لیبل شدہ مثالیں ہوں، لیبل اکثر بدلتے ہوں، یا آپ کو ہر لیبل کے ساتھ وجہ چاہیے۔ fine-tuned classifier تب موزوں ہے جب لیبل مستحکم ہوں، والیوم بہت بڑا ہو اور آپ کے پاس پہلے سے ہزاروں لیبل شدہ مثالیں ہوں۔

عربی پر LLMs کے بارے میں تحقیق کیا کہتی ہے؟

شروع کرنے سے پہلے دو نتائج جاننے کے لائق ہیں:

  • fine-tuned عربی ماڈلز جیت سکتے ہیں۔ GPTAraEval نے ChatGPT کو 44 عربی کاموں پر ٹیسٹ کیا اور پایا کہ یہ “consistently surpassed by smaller models that have undergone finetuning on Arabic” (ترجمہ: عربی پر fine-tune کیے گئے چھوٹے ماڈلز سے مسلسل پیچھے) رہا۔ مصنفین نے لہجوں پر جدید معیاری عربی سے کمزور نتائج بھی پائے (Khondaker et al.)۔
  • لہجوں سے باخبر پرامپٹس مدد کرتے ہیں۔ MSA، سعودی لہجے اور مراکشی دارجہ میں sentiment پر DeepSeek-R1، Qwen2.5 اور LLaMA-3 کی RANLP 2025 تحقیق رپورٹ کرتی ہے کہ لہجوں سے باخبر پرامپٹنگ سے درستگی بڑھی، خاص طور پر neutral اور negative classes میں (Alharbi et al.)۔

یہ آپ کے استعمال والے ماڈلز سے پرانے یا مختلف ماڈلز ہیں، اس لیے انہیں سمت سمجھیں، اعداد نہیں۔ سبق قائم ہے: اپنے پیغامات پر، ہر لہجے میں الگ ناپیں۔

لیبل کیسے ڈیزائن کریں؟

یہیں سے شروع کریں، ماڈل سے نہیں۔

  1. فہرست مختصر رکھیں۔ ہر سوال کے لیے چار سے آٹھ لیبل۔ الگ سوال (sentiment، intent، urgency) الگ فیلڈز کے طور پر پوچھیں، ایک بہت بڑی فہرست میں نہیں۔
  2. ہر لیبل کی ایک لائن میں تعریف دیں، ساتھ میں یہ کہ وہ کیا نہیں ہے: “complaint: گاہک خریدی ہوئی کسی چیز میں مسئلہ بتاتا ہے۔ قیمت کے بارے میں سوال نہیں۔”
  3. ایک فرار والا لیبل شامل کریں، جیسے other یا unclear۔
  4. mixed صورتیں پہلے سے طے کریں۔ “ڈیلیوری دیر سے آئی لیکن ڈرائیور مہربان تھا” mixed ہے، neutral نہیں۔ یہ اصول لکھ لیں۔

متن عربی ہونے پر بھی لیبلز کی تعریفیں انگریزی میں ہو سکتی ہیں۔ لیبل کی قدریں انگریزی میں رکھیں تاکہ آپ کا کوڈ عربی string matching پر منحصر نہ ہو۔

عربی classification کے لیے کون سا پرامپٹ کام کرتا ہے؟

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

ہر حصہ کیوں ہے:

  • لہجے والی لائن ماڈل کو بتاتی ہے کہ کیا توقع رکھے؛ یہی وہ لہجوں سے باخبر پرامپٹنگ ہے جسے RANLP تحقیق نے مددگار پایا۔
  • ایک سے زیادہ لہجوں میں مثالیں۔ اوپر کی مثالیں خلیجی اور مصری لہجہ ملاتی ہیں۔ اپنی ٹریفک سے اصل (گمنام کیے گئے) پیغامات استعمال کریں۔
  • اقتباس کی صورت میں ثبوت جائزہ لینے والے کو ایک سیکنڈ میں لیبل جانچنے دیتا ہے، اور اندازوں کو پکڑنا آسان بناتا ہے۔
  • reasoning_effort="low"۔ Qwen3.8 27B، GLM 5.3 اور DeepSeek V4.1 Flash جواب سے پہلے ریزننگ کرتے ہیں، اور ریزننگ max_tokens میں گنی جاتی ہے۔ BroadNet کی دستاویزات reasoning_effort کو low رکھنے یا 1,000 یا زیادہ ٹوکن چھوڑنے کا مشورہ دیتی ہیں۔ ورنہ جوابات خالی کیوں لوٹتے ہیں۔
  • نامعلوم لیبلز کوڈ میں مسترد کریں۔ ماڈل کے فہرست میں رہنے پر کبھی بھروسہ نہ کریں۔

زیادہ سخت آؤٹ پٹ معاہدے کے لیے JSON mode بمقابلہ json_schema دیکھیں۔ BroadNet، GLM 5.3 اور Qwen3.8 27B کے لیے structured output درج کرتا ہے۔

BroadNet کا کون سا ماڈل استعمال کریں؟

ماڈل کیوں چنیں ان پٹ / آؤٹ پٹ فی 1M ٹوکن
Qwen3.8 27B BroadNet نے عربی میں ٹیسٹ کیا: خلیجی اور مصری لہجے سمجھے گئے؛ structured output درج $0.175 / $2.17
BroadNet Gemma 4 VL 26B BroadNet پر سب سے کم فی ٹوکن قیمت؛ $5 کے ابتدائی کریڈٹ پر چلتا ہے؛ structured output درج نہیں، اس لیے آؤٹ پٹ سختی سے validate کریں $0.10 / $0.22
DeepSeek V4.1 Flash مقررہ قیمت والے پلان پر بھی، $60 ماہانہ فی سیشن، ایک وقت میں ایک درخواست $0.175 / $0.52
GLM 5.3 structured output درج؛ چاروں میں سب سے زیادہ قیمت $0.78 / $3.46

اپنا ٹیسٹ سیٹ پہلے Qwen3.8 27B اور Gemma 4 VL 26B پر چلائیں۔ اگر Gemma کے اسکور کافی قریب ہیں تو مختصر لیبلز کے لیے وہ سستا انتخاب ہے۔ انتخاب اپنے اعداد پر کریں، اس ٹیبل پر نہیں۔

classifier کو کیسے ٹیسٹ کریں؟

  1. 200 اصل پیغامات کو ہاتھ سے لیبل کریں، کسی مقامی بولنے والے کے ساتھ، اوپر کی لیبل تعریفوں سے۔ جو بھی لہجے آتے ہیں سب شامل کریں، ہر ایک کے کم از کم 30۔
  2. ماڈل کو تمام 200 پر چلائیں۔
  3. macro F1 نکالیں، یعنی ہر لیبل کے F1 اسکور کا اوسط، تاکہ نایاب لیبل بھی عام لیبلز جتنے گنے جائیں۔ صرف accuracy ایسے ماڈل کو چھپا دیتی ہے جو کبھی cancel نہیں کہتا۔
  4. confusion matrix پڑھیں۔ اگر question اور complaint اکثر آپس میں بدلتے ہیں تو تعریفیں ایک دوسرے پر چڑھتی ہیں: ماڈل بدلنے سے پہلے تعریفیں ٹھیک کریں۔
  5. نتائج لہجے کے حساب سے بانٹیں۔ ماڈل MSA میں مضبوط اور خلیجی میں کمزور ہو سکتا ہے۔
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

ہر بار پرامپٹ یا ماڈل بدلنے پر وہی سیٹ دوبارہ چلائیں۔ بدلنے سے پہلے LLM کی جانچ کیسے کریں ایک مقررہ ٹیسٹ سیٹ رکھنا بتاتی ہے۔

بڑے والیوم پر classify کیسے کریں؟

classification میں ان پٹ بھاری ہوتا ہے: لمبا سسٹم پرامپٹ، مختصر پیغام اور ایک لفظ کا جواب۔ تین لیور اہم ہیں۔

فی درخواست پیغامات کو گروپ کریں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستیں اور بیک وقت 4 چلنے دیتی ہے۔ فی درخواست ایک پیغام آپ کو فی کلید فی منٹ 30 پیغامات پر روک دیتا ہے، یعنی روزانہ اس کا 1,440 گنا۔ 20 مختصر پیغامات نمبر شدہ فہرست کی صورت میں بھیجیں اور 20 نتائج کی JSON array مانگیں: تب وہی ریٹ لمٹ بیس گنا زیادہ پیغامات کا احاطہ کرتی ہے۔ جانچیں کہ array کی لمبائی میل کھاتی ہے اور ہر آئٹم کے ساتھ اس کا نمبر ہے۔

پرامپٹ کا prefix ایک جیسا رکھیں۔ سسٹم پرامپٹ اور مثالیں ہر کال میں وہی ہیں۔ انہیں پہلے اور پیغام کو آخر میں رکھیں، تاکہ وہ کیش شدہ ان پٹ کی قیمت پر کیش سے پڑھے جا سکیں، جیسے Qwen3.8 27B پر فی 1M $0.175 کی جگہ $0.0435۔ پرامپٹ کیسے بنائیں تاکہ prefix کیش ہو۔

آؤٹ پٹ مختصر رکھیں۔ آؤٹ پٹ ٹوکن ان پٹ سے مہنگے ہیں۔ ایک لیبل اور مختصر اقتباس کافی ہے؛ ماڈل پر بھروسہ ہو جائے تو evidence فیلڈ ہٹا دیں۔

عربی میں عموماً انگریزی سے فی لفظ زیادہ ٹوکن لگتے ہیں، اس لیے اپنے پیغامات کا نمونہ عربی ٹوکن کاؤنٹر میں گنیں، پھر LLM API لاگت کیلکولیٹر میں مہینے کی قیمت نکالیں۔

کن غلطیوں سے بچیں؟

  • انگریزی تراجم پر ٹیسٹ کرنا۔ ترجمہ شدہ متن ویسا نہیں جیسا آپ کے گاہک لکھتے ہیں۔
  • تمام لہجوں کا ایک اسکور۔ ہر لہجہ الگ رپورٹ کریں۔
  • کوئی فرار والا لیبل نہیں۔ ہر پیغام کو زبردستی اصل لیبل میں ڈالنے سے غلطیاں بڑھتی ہیں۔
  • آزاد متن والے جوابات۔ “یہ negative لگتا ہے” parse نہیں ہو سکتا۔ JSON مانگیں اور validate کریں۔
  • طنز کو نظر انداز کرنا۔ “ما شاء الله، ثالث مرة يتأخر الطلب” (ماشاءاللہ، تیسری بار آرڈر دیر سے آیا) لفظ بہ لفظ مثبت لگتا ہے اور ہے شکایت۔ ایسی ایک مثال پرامپٹ میں رکھیں۔

LLM کب غلط classifier ہے؟

جب لیبل مستحکم ہوں، آپ کے پاس پہلے سے ہزاروں لیبل شدہ مثالیں ہوں اور والیوم لاکھوں میں ہو، تو fine-tuned عربی encoder ماڈل عموماً فی پیغام سستا ہوتا ہے اور، GPTAraEval کے مطابق، زیادہ درست ہو سکتا ہے۔ انتظار کر سکنے والے بڑے offline کاموں کے لیے batch API والا فراہم کنندہ بھی سستا پڑ سکتا ہے: OpenAI 24 گھنٹوں کے اندر مکمل ہونے والے batch کاموں پر 50% رعایت کا اشتہار دیتا ہے۔ BroadNet میں کوئی batch API نہیں۔ ایک عام پیٹرن ہے: پہلے چند ہزار پیغامات کو LLM سے لیبل کروانا، انہیں ہاتھ سے جانچنا، اور نتیجے پر ایک چھوٹا ماڈل تربیت دینا۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet ایک ہی OpenAI-compatible کلید کے پیچھے عربی میں ٹیسٹ شدہ ماڈل (Qwen3.8 27B)، ابتدائی کریڈٹ پر چلنے والا سستا ماڈل (Gemma 4 VL 26B) اور مقررہ قیمت والا آپشن (DeepSeek V4.1 Flash) دیتا ہے، اور درخواست کے بعد پیغام کا کوئی مواد نہیں رکھتا۔ یہ ان سپورٹ ٹیموں کے لیے موزوں ہے جو تربیتی پائپ لائن بنائے بغیر عربی پیغامات classify کرنا چاہتی ہیں۔ یہ بہت بڑے offline کاموں کے لیے موزوں نہیں، جہاں batch رعایت یا fine-tuned ماڈل سستا پڑے گا۔ اوپر کے پرامپٹ، 200 پیغامات والے ٹیسٹ، اور ٹیسٹ سیٹ بنانے کے لیے خلیجی، مصری اور شامی لہجے والی پوسٹ سے شروع کریں۔

عام سوالات

کیا LLM عربی sentiment analysis کر سکتا ہے؟

جی ہاں، بغیر تربیت کے، لیبلز اور مثالوں والے پرامپٹ سے۔ معیار لہجے اور class کے حساب سے بدلتا ہے: شائع شدہ ٹیسٹس میں ماڈلز کئی کاموں میں fine-tuned عربی ماڈلز سے پیچھے رہتے ہیں، اور لہجے جدید معیاری عربی سے کم اسکور کرتے ہیں۔ اسے اپنے ڈیٹا پر ناپیں۔

classification کے لیے LLM بہتر ہے یا fine-tuned عربی BERT ماڈل؟

ہمیشہ LLM نہیں۔ GPTAraEval نے پایا کہ 44 کاموں میں ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (ترجمہ: عربی پر fine-tune کیے گئے چھوٹے ماڈلز سے مسلسل پیچھے) رہا۔ LLM تب جیتتا ہے جب آپ کے پاس کم لیبل شدہ مثالیں ہوں، لیبل اکثر بدلتے ہوں، یا ہر لیبل کے ساتھ وجہ چاہیے۔

خلیجی اور مصری عربی پیغامات کیسے classify کروں؟

ماڈل کو ہر لہجے میں لیبل شدہ مثالیں دیں، بتائیں کہ کون سے لہجے آئیں گے، اور ہر لہجے کو الگ اسکور کریں۔ مصری ریویوز پر اچھا کرنے والا ماڈل بھی خلیجی طنز چوک سکتا ہے۔

ہر بار ایک جیسا لیبل کیسے حاصل کروں؟

مقررہ لیبل فہرست استعمال کریں، صرف انہی قدروں والا JSON مانگیں، temperature صفر رکھیں، اور فہرست سے باہر کا ہر جواب مسترد کریں۔ وہی مثالیں اسی ترتیب سے بھیجیں تاکہ نتائج دہرائے جا سکیں۔

BroadNet پر روزانہ کتنے پیغامات classify کر سکتا ہوں؟

استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستیں اور بیک وقت 4 دیتی ہے۔ فی درخواست ایک پیغام پر یہ فی کلید فی منٹ زیادہ سے زیادہ 30 پیغامات ہے، یعنی روزانہ اس کا 1,440 گنا۔ ہر درخواست میں 20 مختصر پیغامات ڈالنے سے یہ بیس گنا بڑھ جاتا ہے، کانٹیکسٹ کی حد کے اندر۔

کیا BroadNet میں بڑی تعداد میں classification کے لیے batch API ہے؟

نہیں۔ BroadNet صرف chat completions اور ٹرانسکرپشن دستاویز کرتا ہے۔ بڑے offline کاموں کے لیے فی درخواست پیغامات کو گروپ کریں، یا batch API والے فراہم کنندہ سے موازنہ کریں؛ OpenAI کا Batch API 24 گھنٹے کی کھڑکی کے ساتھ 50% رعایت کا اشتہار دیتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں