يجيب WER عن سؤال واحد: من كل 100 كلمة قالها المتحدث، كم كلمة أخطأ فيها النص المفرّغ؟
كيف يعمل
طابِق النص المفرّغ الذي أنتجه النموذج مع مرجع بشري صحيح، ثم عُدّ ثلاثة أنواع من الأخطاء:
- S الاستبدالات (Substitutions): كلمة خاطئة مكان الصحيحة؛
- D الحذوفات (Deletions): كلمة قيلت لكنها مفقودة؛
- I الإدراجات (Insertions): كلمة لم تُقل لكنها ظهرت.
WER = (S + D + I) / N، حيث N عدد الكلمات في المرجع.
مثال. المرجع هو “please send the invoice to our office today” (8 كلمات). والنص المفرّغ يقول “please send an invoice to office today now”:
| الخطأ | العدد |
|---|---|
| “the” → “an” | استبدال واحد |
| “our” مفقودة | حذف واحد |
| “now” مضافة | إدراج واحد |
WER = 3 / 8 = 0.375، أي 37.5%. وتشير ويكيبيديا إلى أن WER مسافة تحرير على مستوى الكلمات، ولأن الإدراجات غير محدودة، فهو “can be larger than 1.0.” (ترجمة: قد يكون أكبر من 1.0).
تحسبه أدوات مثل حزمة Python jiwer. وحِّد النصين أولًا: حالة الأحرف، وعلامات الترقيم، والأرقام المكتوبة أرقامًا أو كلمات، وفي العربية التشكيل وأشكال الألف والياء. فخيارات التوحيد وحدها قد تغيّر الدرجة تغييرًا ملحوظًا.
لماذا يهم
- مقارنة النماذج. WER هو المقياس الشائع في لوحات الصدارة وادعاءات المزوّدين، فهو المرشّح الأول عند اختيار واجهة تحويل الصوت إلى نص.
- صوتك مختلف. قد يسجّل النموذج نفسه نتائج مختلفة جدًا على الكلام المقروء وعلى المكالمات الهاتفية باللهجة. وفي العربية، تعطي العربية الفصحى المعاصرة وصوت اللهجات أرقامًا مختلفة. اختبر على تسجيلات تشبه تسجيلاتك.
- الأخطاء ليست متساوية. يزن WER كل كلمة بالوزن نفسه. فرقم حساب خاطئ يُحتسب خطأً واحدًا، مثل كلمة “the” مفقودة. اقرأ النصوص المفرّغة، لا الدرجات فقط.
في BroadNet Inference
تنشر BroadNet قياسات مختبرها الخاصة لنموذج BroadNet Transcribe Arabic:
| مجموعة الاختبار | ما هي | WER (%) |
|---|---|---|
| FLEURS-ar | جمل مقروءة نظيفة | 3.8 |
| MASC-ar | كلام عربي متنوع من الواقع | 21.1 |
| مجموعة BroadNet للهجات | كلام باللهجات | 23.4 |
الفجوة بين 3.8 و23.4 توضّح لماذا يهم اختبارك الخاص. وتُبلغ BroadNet أيضًا أن النموذج في المرتبة #2 من أصل 37 (وهو رقمها لشهر سبتمبر 2026؛ وأدرجته اللوحة المباشرة في المرتبة #4 من أصل 39 في 15 نوفمبر 2026) على لوحة الصدارة Open Universal Arabic ASR Leaderboard. ويغطي الرصيد المبدئي البالغ $5 نحو 1,190 دقيقة من الصوت العربي، وهذا يكفي لمجموعة اختبار. ويقدّم دليل المشتري خطة اختبار مدتها ساعة، ويحوي الدليل العربي الشيفرة.