BroadRouter

ورڈ ایرر ریٹ (WER)

اپ ڈیٹ

ورڈ ایرر ریٹ (WER) اسپیچ ریکگنیشن کی درستی کا معیاری پیمانہ ہے: ٹرانسکرپٹ کو درست ریفرنس میں بدلنے کے لیے درکار الفاظ کے substitutions، deletions اور insertions کی تعداد، جسے ریفرنس کے کل الفاظ سے تقسیم کیا جاتا ہے۔ جتنا کم، اتنا بہتر۔

دوسرے نام: ورڈ ایرر ریٹ، ٹرانسکرپشن کی درستی، wer kya hai، word error rate kya hai، WER، ASR accuracy، transcription accuracy، word accuracy

WER ایک سوال کا جواب دیتا ہے: کسی کے بولے ہر 100 الفاظ میں سے ٹرانسکرپٹ نے کتنے غلط لکھے؟

یہ کیسے کام کرتا ہے

ماڈل کے ٹرانسکرپٹ کو انسان کے بنائے درست ریفرنس کے ساتھ ملائیں، پھر تین قسم کی غلطیاں گنیں:

  • Substitutions: درست لفظ کی جگہ غلط لفظ؛
  • Deletions: بولا گیا لفظ جو غائب ہے؛
  • Insertions: نہ بولا گیا لفظ جو نظر آ رہا ہے۔

WER = (S + D + I) / N، جہاں N ریفرنس کے الفاظ کی تعداد ہے۔

مثال۔ ریفرنس ہے “please send the invoice to our office today” (8 الفاظ)۔ ٹرانسکرپٹ میں ہے “please send an invoice to office today now”:

غلطی گنتی
“the” → “an” 1 substitution
“our” غائب 1 deletion
“now” اضافی 1 insertion

WER = 3 / 8 = 0.375، یعنی 37.5%۔ Wikipedia بتاتا ہے کہ WER لفظ کی سطح کا edit distance ہے، اور چونکہ insertions کی کوئی حد نہیں، یہ “can be larger than 1.0.” (ترجمہ: 1.0 سے بڑا ہو سکتا ہے۔)

jiwer Python پیکیج جیسے ٹولز اسے نکالتے ہیں۔ پہلے دونوں متون کو نارملائز کریں: کیس، رموزِ اوقاف، ہندسوں یا الفاظ میں لکھے اعداد، اور عربی کے لیے اعراب اور الف یا یاء کی شکلیں۔ صرف نارملائزیشن کے فیصلے بھی اسکور کو نمایاں طور پر بدل سکتے ہیں۔

یہ کیوں اہم ہے

  • ماڈلز کا موازنہ۔ لیڈر بورڈز اور وینڈرز کے دعووں میں WER ہی عام پیمانہ ہے، اس لیے اسپیچ ٹو ٹیکسٹ API چنتے وقت یہ پہلا فلٹر ہے۔
  • آپ کا آڈیو مختلف ہے۔ وہی ماڈل پڑھی گئی اسپیچ اور لہجے والی فون کالز پر بہت مختلف اسکور کر سکتا ہے۔ عربی کے لیے Modern Standard Arabic اور لہجے والا آڈیو مختلف اعداد دیتے ہیں۔ اپنی جیسی ریکارڈنگز پر ٹیسٹ کریں۔
  • سب غلطیاں برابر نہیں۔ WER ہر لفظ کو ایک جیسا وزن دیتا ہے۔ غلط اکاؤنٹ نمبر بھی ایک غلطی گنا جاتا ہے، بالکل غائب “the” کی طرح۔ صرف اسکور نہیں، ٹرانسکرپٹ بھی پڑھیں۔

BroadNet Inference پر

BroadNet BroadNet Transcribe Arabic کے لیے اپنی لیب پیمائشیں شائع کرتا ہے:

ٹیسٹ سیٹ یہ کیا ہے WER (%)
FLEURS-ar صاف پڑھے گئے جملے 3.8
MASC-ar حقیقی دنیا کی ملی جلی عربی اسپیچ 21.1
BroadNet لہجہ سیٹ لہجے والی اسپیچ 23.4

3.8 اور 23.4 کا فرق دکھاتا ہے کہ آپ کا اپنا ٹیسٹ کیوں ضروری ہے۔ BroadNet یہ بھی بتاتا ہے کہ Open Universal Arabic ASR Leaderboard پر یہ ماڈل 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) پر ہے۔ $5 کا ابتدائی کریڈٹ تقریباً 1,190 منٹ عربی آڈیو کا احاطہ کرتا ہے، جو ایک ٹیسٹ سیٹ کے لیے کافی ہے۔ خریدار گائیڈ میں ایک گھنٹے کا ٹیسٹ پلان ہے، اور عربی گائیڈ میں کوڈ۔

عام سوالات

اچھا ورڈ ایرر ریٹ کتنا ہوتا ہے؟

یہ آڈیو پر منحصر ہے۔ صاف پڑھی گئی اسپیچ ایک ہندسے میں اسکور کر سکتی ہے، جبکہ شور والی بات چیت یا لہجے والا آڈیو اسی ماڈل پر اکثر کہیں زیادہ اسکور کرتا ہے۔ ماڈلز کا موازنہ ایک ہی ٹیسٹ سیٹ پر کریں، بہتر ہو تو اپنی ریکارڈنگز پر۔

کیا WER سو فیصد سے زیادہ ہو سکتا ہے؟

ہاں۔ insertions گنے جاتے ہیں مگر مخرج (denominator) صرف ریفرنس کے الفاظ ہیں، اس لیے بہت سے اضافی الفاظ والا ٹرانسکرپٹ 1.0 سے اوپر اسکور کر سکتا ہے۔

WER فیصد میں لکھا جاتا ہے یا اعشاریہ میں؟

دونوں عام ہیں۔ 0.211 اور 21.1 کا مطلب عموماً ایک ہی ہے، فی 100 ریفرنس الفاظ تقریباً 21 غلطیاں۔ دیکھیں کہ ماخذ کون سا طریقہ استعمال کرتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں