BroadRouter

معدل الخطأ في الكلمات (WER)

آخر تحديث

معدل الخطأ في الكلمات (WER) هو مقياس الدقة المعياري للتعرّف على الكلام: عدد استبدالات الكلمات وحذوفاتها وإدراجاتها اللازمة لتحويل النص المفرّغ إلى النص المرجعي الصحيح، مقسومًا على عدد كلمات المرجع. والأقل أفضل.

يُسمّى أيضًا: معدل خطأ الكلمات، نسبة الخطأ في الكلمات، دقة التفريغ الصوتي، دقة التعرف على الكلام، WER، word error rate، ASR accuracy، transcription accuracy، word accuracy

يجيب WER عن سؤال واحد: من كل 100 كلمة قالها المتحدث، كم كلمة أخطأ فيها النص المفرّغ؟

كيف يعمل

طابِق النص المفرّغ الذي أنتجه النموذج مع مرجع بشري صحيح، ثم عُدّ ثلاثة أنواع من الأخطاء:

  • S الاستبدالات (Substitutions): كلمة خاطئة مكان الصحيحة؛
  • D الحذوفات (Deletions): كلمة قيلت لكنها مفقودة؛
  • I الإدراجات (Insertions): كلمة لم تُقل لكنها ظهرت.

WER = (S + D + I) / N، حيث N عدد الكلمات في المرجع.

مثال. المرجع هو “please send the invoice to our office today” (8 كلمات). والنص المفرّغ يقول “please send an invoice to office today now”:

الخطأ العدد
“the” → “an” استبدال واحد
“our” مفقودة حذف واحد
“now” مضافة إدراج واحد

WER = 3 / 8 = 0.375، أي 37.5%. وتشير ويكيبيديا إلى أن WER مسافة تحرير على مستوى الكلمات، ولأن الإدراجات غير محدودة، فهو “can be larger than 1.0.” (ترجمة: قد يكون أكبر من 1.0).

تحسبه أدوات مثل حزمة Python jiwer. وحِّد النصين أولًا: حالة الأحرف، وعلامات الترقيم، والأرقام المكتوبة أرقامًا أو كلمات، وفي العربية التشكيل وأشكال الألف والياء. فخيارات التوحيد وحدها قد تغيّر الدرجة تغييرًا ملحوظًا.

لماذا يهم

  • مقارنة النماذج. WER هو المقياس الشائع في لوحات الصدارة وادعاءات المزوّدين، فهو المرشّح الأول عند اختيار واجهة تحويل الصوت إلى نص.
  • صوتك مختلف. قد يسجّل النموذج نفسه نتائج مختلفة جدًا على الكلام المقروء وعلى المكالمات الهاتفية باللهجة. وفي العربية، تعطي العربية الفصحى المعاصرة وصوت اللهجات أرقامًا مختلفة. اختبر على تسجيلات تشبه تسجيلاتك.
  • الأخطاء ليست متساوية. يزن WER كل كلمة بالوزن نفسه. فرقم حساب خاطئ يُحتسب خطأً واحدًا، مثل كلمة “the” مفقودة. اقرأ النصوص المفرّغة، لا الدرجات فقط.

في BroadNet Inference

تنشر BroadNet قياسات مختبرها الخاصة لنموذج BroadNet Transcribe Arabic:

مجموعة الاختبار ما هي WER (%)
FLEURS-ar جمل مقروءة نظيفة 3.8
MASC-ar كلام عربي متنوع من الواقع 21.1
مجموعة BroadNet للهجات كلام باللهجات 23.4

الفجوة بين 3.8 و23.4 توضّح لماذا يهم اختبارك الخاص. وتُبلغ BroadNet أيضًا أن النموذج في المرتبة #2 من أصل 37 (وهو رقمها لشهر سبتمبر 2026؛ وأدرجته اللوحة المباشرة في المرتبة #4 من أصل 39 في 15 نوفمبر 2026) على لوحة الصدارة Open Universal Arabic ASR Leaderboard. ويغطي الرصيد المبدئي البالغ $5 نحو 1,190 دقيقة من الصوت العربي، وهذا يكفي لمجموعة اختبار. ويقدّم دليل المشتري خطة اختبار مدتها ساعة، ويحوي الدليل العربي الشيفرة.

أسئلة شائعة

ما معدل الخطأ في الكلمات الجيد؟

يعتمد على الصوت. الكلام المقروء النظيف قد يسجّل أرقامًا أحادية، بينما يسجّل صوت المحادثات الصاخب أو صوت اللهجات أرقامًا أعلى بكثير على النموذج نفسه. قارن النماذج على مجموعة الاختبار نفسها، ويُفضَّل أن تكون تسجيلاتك أنت.

هل يمكن أن يتجاوز WER نسبة 100%؟

نعم. تُحتسب الإدراجات، لكن المقام هو كلمات المرجع فقط، فالنص المفرّغ الذي يحوي كلمات زائدة كثيرة قد يسجّل أكثر من 1.0.

هل يُكتب WER نسبةً مئوية أم كسرًا عشريًا؟

كلاهما شائع. فـ 0.211 و21.1 يعنيان عادةً الشيء نفسه، أي نحو 21 خطأ لكل 100 كلمة مرجعية. تحقّق مما يستخدمه المصدر.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity