وہی تین عربی حروف “اس نے لکھا”، “کتابیں” یا “لکھا گیا” کے معنی دے سکتے ہیں۔ ان میں فرق اعراب سے ہوتا ہے، اور زیادہ تر متن انہیں لکھتا ہی نہیں۔
یہ کیسے کام کرتے ہیں
Unicode Standard ان نشانات کو tashkil کہتا ہے اور لکھتا ہے کہ یہ “may be written as combining marks” (ترجمہ: combining marks کے طور پر لکھے جا سکتے ہیں)، پھر اضافہ کرتا ہے: “In normal writing, however, these marks are omitted.” (ترجمہ: تاہم عام تحریر میں یہ نشانات چھوڑ دیے جاتے ہیں۔) حرکات مختصر حرکات والے ذیلی سیٹ کا نام ہے۔ ہر نشان اپنا الگ combining کیریکٹر ہے جو اس حرف کے بعد آتا ہے جس پر وہ لگتا ہے۔ اہم نشانات U+064B سے U+0652 کی رینج میں ہیں:
| کوڈ پوائنٹ | نام | کام |
|---|---|---|
| U+064E | FATHA | مختصر a (زبر) |
| U+064F | DAMMA | مختصر u (پیش) |
| U+0650 | KASRA | مختصر i (زیر) |
| U+064B سے U+064D | FATHATAN, DAMMATAN, KASRATAN | تنوین (-an، -un، -in اختتام) |
| U+0651 | SHADDA | مشدّد حرف |
| U+0652 | SUKUN | کوئی حرکت نہیں |
بغیر نشان والے لفظ كتب کے ساتھ ایک مثال:
- كَتَبَ (kataba)، “اس نے لکھا”
- كُتُب (kutub)، “کتابیں”
- كُتِبَ (kutiba)، “لکھا گیا”
نشانات کے بغیر تینوں ایک ہی اسٹرنگ ہیں۔ قاری جملے سے معنی چنتا ہے۔ سافٹ ویئر کو بھی یہی کرنا پڑتا ہے، اور یہ diacritizer کا کام ہے۔ Zerrouki اور Balla (2017) نے Tashkeela کارپس بنایا، تقریباً 75.6 ملین الفاظ، زیادہ تر کلاسیکی عربی، کیونکہ مکمل اعراب والا متن کم یاب ہے اور diacritizer کو تربیت کے لیے اس کی ضرورت ہوتی ہے۔ Fadel اور ساتھی (2019) ایسے نیورل diacritization ماڈل بتاتے ہیں جو ایک عوامی بینچ مارک پر پچھلے کام کے برابر یا اس سے بہتر ہیں، اور دکھاتے ہیں کہ اعراب مشینی ترجمے میں مدد کر سکتے ہیں۔
لائبریریاں ان نشانات کو ایک سیٹ مانتی ہیں۔ CAMeL Tools کے AR_DIAC_CHARSET میں U+064B سے U+0652 اور U+0670 (superscript alef، کھڑا زبر) شامل ہیں، اور اس کا dediac_ar فنکشن انہیں ہٹاتا ہے۔
یہ کیوں اہم ہیں
- سرچ اور میچنگ۔ نشانات کے ساتھ اور بغیر ٹائپ کیا گیا ایک ہی لفظ الگ اسٹرنگ ہے۔ عربی متن کی نارملائزیشن کے حصے کے طور پر انہیں سرچ کی سے ہٹائیں، ورنہ exact میچ ناکام ہوں گے۔
- ٹوکن۔ ہر نشان tokenizer کے لیے ایک اضافی کیریکٹر ہے۔ مکمل اعراب والا متن سادہ متن سے واضح طور پر زیادہ ٹوکن لیتا ہے؛ ناپے گئے تناسب کے لیے diacritization گائیڈ اور بنیادی پیمانے کے لیے عربی میں فی لفظ ٹوکن دیکھیں۔
- اسپیچ اور جانچ۔ ٹرانسکرپٹ عموماً بغیر نشانات کے آتے ہیں۔ دونوں متون سے اعراب ہٹانے کے بعد word error rate نکالیں، ورنہ ایک اضافی فتحہ والا درست لفظ بھی غلطی گنا جائے گا۔
- کب ضرورت ہوتی ہے۔ ٹیکسٹ ٹو اسپیچ، زبان سکھانا، قرآنی اور شعری متن، اور ایسے نام جو حرکات کے بغیر مبہم ہوں۔
BroadNet Inference پر
BroadNet کے پاس کوئی diacritization اینڈپوائنٹ نہیں۔ چیٹ ماڈل tashkeel کو POST /v1/chat/completions کے ذریعے عام متن کی طرح لیتے ہیں، اس لیے آپ Qwen3.8 27B جیسے ماڈل سے نشانات لگانے یا ہٹانے کو کہہ سکتے ہیں۔ محفوظ طریقہ یہ ہے کہ جواب کو کوڈ میں جانچیں: اعراب ہٹائیں اور اپنے ان پٹ سے حرف بہ حرف ملائیں۔ LLM diacritization پوسٹ میں پرامپٹ اور جانچ دونوں ہیں۔
ہٹانے کے لیے ماڈل بالکل استعمال نہ کریں۔ U+064B سے U+0652 پر ایک مختصر regex تیز، مفت اور درست ہے۔ عربی ٹیکسٹ نارملائزر براؤزر میں اس کا اثر دکھاتا ہے۔