WER پوچھتا ہے کہ کتنے الفاظ غلط تھے۔ CER پوچھتا ہے کہ کتنے حروف غلط تھے، جو عربی کے لیے اکثر زیادہ منصفانہ سوال ہے۔
یہ کیسے کام کرتا ہے
CER وہی edit-distance خیال استعمال کرتا ہے جو word error rate کرتا ہے، بس کیریکٹرز پر۔ Hugging Face metric card فارمولا دیتا ہے:
CER = (S + D + I) / N، جہاں S substitutions ہیں، D deletions، I insertions اور N ریفرنس میں کیریکٹرز کی تعداد (N = S + D + C، جہاں C درست کیریکٹرز ہیں)۔
ایک عربی مثال۔ ریفرنس “وبالكتاب” ہے (“اور کتاب کے ساتھ”، ایک لفظ، 8 حروف)۔ ٹرانسکرپٹ “وبلكتاب” ہے، جس میں ایک الف غائب ہے:
| میٹرک | غلطیاں | ریفرنس اکائیاں | اسکور |
|---|---|---|---|
| WER | 1 غلط لفظ | 1 لفظ | 1.0 (100%) |
| CER | 1 حذف شدہ حرف | 8 کیریکٹرز | 0.125 (12.5%) |
ایک غائب حرف WER کے لیے پورا لفظ غلط کر دیتا ہے۔ CER دکھاتا ہے کہ ٹرانسکرپٹ تقریباً درست تھا۔
Python میں jiwer پیکیج اسے jiwer.cer(reference, hypothesis) سے نکالتا ہے، اور jiwer.process_characters alignment بھی لوٹاتا ہے۔ WER کی طرح پہلے دونوں طرف نارملائز کریں: رموزِ اوقاف، اسپیسنگ، اور عربی کے لیے اعراب اور الف یا یاء کی شکلیں۔ عربی متن کی نارملائزیشن دیکھیں۔
یہ کیوں اہم ہے
- عربی کی صرفی ساخت۔ عربی میں حروفِ عطف، حروفِ جار اور ضمیریں clitics کی صورت میں الفاظ سے جڑتی ہیں، اس لیے ایک لفظ میں وہ آ سکتا ہے جو انگریزی تین یا چار الفاظ میں لکھتی ہے۔ سابقے کا ایک غلط حرف WER میں پورا لفظ لے ڈوبتا ہے۔ CER اسے ایک کیریکٹر گنتا ہے۔
- بغیر اسپیس والی زبانیں۔ WER کو الفاظ کی حدیں چاہئیں۔ Hugging Face card کہتا ہے کہ CER مفید ہے “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (ترجمہ: خاص طور پر کثیر لسانی ڈیٹاسیٹس کے لیے، جہاں زبانوں کے تنوع کی وجہ سے WER موزوں نہیں۔)
- غلطی کی قسم۔ زیادہ WER مگر کم CER والا ماڈل الفاظ تقریباً درست کر رہا ہے: املا، ہمزہ یا clitic کی چوک، جنہیں نارملائزیشن یا درستی کا مرحلہ ٹھیک کر سکتا ہے۔ زیادہ CER کا مطلب ہے کہ ماڈل پورے الفاظ یا مواد چھوڑ رہا ہے۔
- OCR بھی۔ یہی میٹرک تصاویر سے پڑھے گئے متن کو اسکور کرتا ہے، اس لیے OCR پائپ لائنز کے موازنے میں کام آتا ہے۔
Metric card یہ تنبیہ بھی کرتا ہے کہ CER یہ نہیں بتاتا کہ غلطیاں کیوں ہوتی ہیں۔ اسکور کے ساتھ نمونہ ٹرانسکرپٹس بھی پڑھیں۔
BroadNet Inference پر
BroadNet BroadNet Transcribe Arabic اور BroadNet Transcribe کے لیے WER شائع کرتا ہے، CER نہیں۔ CER کے لیے اپنی ریکارڈنگز کا ایک ٹیسٹ سیٹ ٹرانسکرائب کریں اور خود اسکور کریں۔ عربی WER کی وضاحت والی پوسٹ میں ایک نارملائزیشن فنکشن اور ایک jiwer اسکرپٹ ہے جو WER اور CER دونوں پرنٹ کرتی ہے، اور عربی اسپیچ ٹو ٹیکسٹ گائیڈ میں درخواست کا کوڈ ہے۔ ہمیشہ language=ar بھیجیں: اس کے بغیر عربی لاطینی حروف میں transliterate ہو کر آ سکتی ہے، جو دونوں اسکور بگاڑ دیتی ہے۔
عام غلطیاں
- اسپیسز کو غیر یکساں طریقے سے گننا۔ طے کریں کہ اسپیسز کیریکٹر گنی جائیں گی یا نہیں، اور موازنہ کیے جانے والے ہر ماڈل پر وہی اصول لگائیں۔
- CER کا موازنہ کسی اور کے WER سے کرنا۔ یہ الگ پیمانے ہیں۔ ایک جیسی چیزوں کا موازنہ کریں۔