BroadRouter
Başlayın

Karakter hata oranı (CER)

Güncellendi

Karakter hata oranı (CER), transkripsiyon veya OCR doğruluğunu karakter düzeyinde ölçer: çıktıyı referans metne dönüştürmek için gereken değiştirme, silme ve ekleme sayısı, referanstaki karakter sayısına bölünür. Düşük olan daha iyidir; 0 tam eşleşme demektir.

Diğer adları: karakter hata oranı, CER, CER metriği, karakter hata oranı hesaplama, character error rate

WER kaç kelimenin yanlış olduğunu sorar. CER kaç harfin yanlış olduğunu sorar; Arapça için bu çoğu zaman daha adil sorudur.

Nasıl çalışır

CER, kelime hata oranıyla aynı düzenleme mesafesi fikrini karakterlere uygular. Hugging Face metrik kartı formülü verir:

CER = (S + D + I) / N; burada S değiştirmeler, D silmeler, I eklemeler, N de referanstaki karakter sayısıdır (N = S + D + C, C doğru karakterler).

Arapça bir örnek. Referans “وبالكتاب” (“ve kitapla”, tek kelime, 8 harf). Transkript, bir elifi eksik olan “وبلكتاب”:

Metrik Hatalar Referans birimleri Puan
WER 1 yanlış kelime 1 kelime 1,0 (%100)
CER 1 silinmiş harf 8 karakter 0,125 (%12,5)

Tek bir eksik harf, WER için bütün kelimeyi yanlış yapar. CER transkriptin neredeyse doğru olduğunu gösterir.

Python’da jiwer paketi bunu jiwer.cer(reference, hypothesis) ile hesaplar; jiwer.process_characters hizalamayı da döndürür. WER’de olduğu gibi önce iki tarafı da normalize edin: noktalama, boşluklar ve Arapça için harekeler ile elif veya ye biçimleri. Bkz. Arapça metin normalizasyonu.

Neden önemli

  • Arapça morfoloji. Arapça bağlaçları, edatları ve zamirleri kelimelere klitik olarak ekler; bu yüzden tek bir kelime İngilizcenin üç dört kelimeyle yazdığını taşıyabilir. Tek bir yanlış ön ek harfi WER’de bütün bir kelimeye mal olur. CER onu tek karakter olarak tartar.
  • Boşluksuz diller. WER kelime sınırlarına ihtiyaç duyar. Hugging Face kartı CER’in “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (çeviri: özellikle dillerin çeşitliliği nedeniyle WER’in uygun olmadığı çok dilli veri setlerinde) yararlı olduğunu söyler.
  • Hata türü. WER’i yüksek ama CER’i düşük bir model kelimeleri neredeyse doğru buluyordur: normalizasyonun veya bir düzeltme adımının giderebileceği yazım, hemze ya da klitik kaymaları. Yüksek CER, modelin bütün kelimeleri veya içeriği kaçırdığı anlamına gelir.
  • OCR’de de. Aynı metrik görüntülerden okunan metni de puanlar; bu yüzden OCR işlem hatlarını karşılaştırırken yararlıdır.

Metrik kartı, CER’in hataların neden oluştuğunu söylemediği konusunda da uyarır. Puanla birlikte örnek transkriptleri de okuyun.

BroadNet Inference’ta

BroadNet, BroadNet Transcribe Arabic ve BroadNet Transcribe için CER değil WER yayımlar. CER için kendi kayıtlarınızdan oluşan bir test setini yazıya döküp kendiniz puanlayın. Arapça WER açıklaması yazısında bir normalizasyon fonksiyonu ve hem WER’i hem CER’i yazdıran bir jiwer betiği var; Arapça konuşmadan metne rehberi de istek kodunu içerir. Her zaman language=ar gönderin: o olmadan Arapça Latin harflerine çevrilmiş olarak dönebilir ve bu iki puanı da bozar.

Sık yapılan hatalar

  • Boşlukları tutarsız saymak. Boşlukların karakter sayılıp sayılmayacağına karar verin ve karşılaştırdığınız her modele aynı kuralı uygulayın.
  • CER’i başkasının WER’iyle karşılaştırmak. Bunlar farklı ölçeklerdir. Aynı türü aynı türle karşılaştırın.

Sık sorulan sorular

CER %100'ün üzerine çıkabilir mi?

Evet. Hugging Face metrik kartı, payda yalnızca referans karakterleri saydığı için CER'in özellikle transkriptte çok sayıda ekleme olduğunda her zaman 0 ile 1 arasında olmadığını belirtir.

Arapça için CER mi raporlamalıyım, WER mi?

İkisini de. Sıralama tabloları ve sağlayıcılar WER verir; karşılaştırmak için ona ihtiyacınız var. CER ise hataların bütün yanlış kelimeler mi yoksa ara ara bir harf veya ek mi olduğunu gösterir; WER bunu gizler.

BroadNet transkripsiyon modelleri için CER yayımlıyor mu?

Hayır. BroadNet yalnızca WER yayımlar. CER için kendi test setinizi jiwer gibi bir araçla puanlayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor