BroadRouter
Mulakan

Kadar ralat aksara (character error rate, CER)

Dikemas kini

Kadar ralat aksara (CER) mengukur ketepatan transkripsi atau OCR pada peringkat aksara: penggantian, pemadaman dan penyisipan yang diperlukan untuk menukar output kepada teks rujukan, dibahagikan dengan bilangan aksara dalam rujukan. Lebih rendah lebih baik, dan 0 ialah padanan sempurna.

Juga dikenali sebagai: CER, character error rate, kadar ralat aksara, metrik CER

WER bertanya berapa banyak perkataan yang salah. CER bertanya berapa banyak huruf yang salah, yang selalunya soalan lebih adil untuk bahasa Arab.

Cara ia berfungsi

CER menggunakan idea jarak suntingan yang sama seperti kadar ralat perkataan, tetapi pada aksara. Kad metrik Hugging Face memberikan formulanya:

CER = (S + D + I) / N, di mana S ialah penggantian, D pemadaman, I penyisipan dan N bilangan aksara dalam rujukan (N = S + D + C, dengan C aksara yang betul).

Contoh bahasa Arab. Rujukannya ialah “وبالكتاب” (“dan dengan buku itu”, satu perkataan, 8 huruf). Transkripnya ialah “وبلكتاب”, tertinggal satu alif:

Metrik Ralat Unit rujukan Skor
WER 1 perkataan salah 1 perkataan 1.0 (100%)
CER 1 huruf dipadam 8 aksara 0.125 (12.5%)

Satu huruf yang hilang menjadikan seluruh perkataan salah bagi WER. CER menunjukkan transkrip itu hampir betul.

Dalam Python, pakej jiwer mengiranya dengan jiwer.cer(reference, hypothesis), dan jiwer.process_characters turut memulangkan penjajarannya. Normalkan kedua-dua pihak dahulu, seperti untuk WER: tanda baca, jarak, dan untuk bahasa Arab, baris serta bentuk alif atau ya. Lihat penormalan teks Arab.

Mengapa ia penting

  • Morfologi Arab. Bahasa Arab mencantumkan kata hubung, kata sendi dan kata ganti pada perkataan sebagai klitik, jadi satu perkataan boleh membawa apa yang bahasa Inggeris tulis sebagai tiga atau empat perkataan. Satu huruf awalan yang salah menyebabkan satu perkataan penuh dikira salah dalam WER. CER memberinya berat satu aksara.
  • Bahasa tanpa jarak. WER memerlukan sempadan perkataan. Kad Hugging Face menyatakan CER berguna “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Terjemahan BroadRouter: “terutamanya untuk set data berbilang bahasa di mana WER tidak sesuai memandangkan kepelbagaian bahasa.”)
  • Jenis ralat. Model dengan WER tinggi tetapi CER rendah hampir betul pada perkataan: kesilapan ejaan, hamzah atau klitik yang mungkin dibaiki oleh penormalan atau langkah pembetulan. CER tinggi bermakna model terlepas keseluruhan perkataan atau kandungan.
  • OCR juga. Metrik yang sama memberi skor kepada teks yang dibaca daripada imej, jadi ia berguna apabila anda membandingkan pipeline OCR.

Kad metrik itu juga memberi amaran bahawa CER tidak memberitahu mengapa ralat berlaku. Baca sampel transkrip bersama skornya.

Di BroadNet Inference

BroadNet menerbitkan WER, bukan CER, untuk BroadNet Transcribe Arabic dan BroadNet Transcribe. Untuk mendapatkan CER, transkripsikan set ujian rakaman anda sendiri dan beri skor sendiri. Artikel WER Arab dijelaskan mengandungi fungsi penormalan dan skrip jiwer yang mencetak WER dan CER, dan panduan speech-to-text Arab mengandungi kod permintaan. Sentiasa hantar language=ar: tanpanya, bahasa Arab boleh dipulangkan dalam bentuk transliterasi huruf Rumi, yang merosakkan kedua-dua skor.

Kesilapan biasa

  • Mengira ruang secara tidak konsisten. Tentukan sama ada ruang dikira sebagai aksara dan gunakan peraturan yang sama pada setiap model yang anda bandingkan.
  • Membandingkan CER dengan WER orang lain. Ia skala yang berbeza. Bandingkan yang serupa dengan yang serupa.

Soalan lazim

Bolehkah CER melebihi 100%?

Boleh. Kad metrik Hugging Face menyatakan CER tidak selalu berada di antara 0 dan 1, terutamanya apabila transkrip mempunyai banyak penyisipan, kerana penyebut hanya mengira aksara rujukan.

Perlukah saya melaporkan CER atau WER untuk bahasa Arab?

Laporkan kedua-duanya. WER ialah apa yang disebut oleh papan pendahulu dan vendor, jadi anda memerlukannya untuk membandingkan. CER menunjukkan sama ada ralatnya keseluruhan perkataan yang salah atau satu huruf atau klitik di sana sini, yang disembunyikan oleh WER.

Adakah BroadNet menerbitkan CER untuk model transkripsinya?

Tidak. BroadNet hanya menerbitkan WER. Untuk mendapatkan CER, beri skor set ujian anda sendiri dengan alat seperti jiwer.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity