WER kaç kelimenin yanlış olduğunu sorar. CER kaç harfin yanlış olduğunu sorar; Arapça için bu çoğu zaman daha adil sorudur.
Nasıl çalışır
CER, kelime hata oranıyla aynı düzenleme mesafesi fikrini karakterlere uygular. Hugging Face metrik kartı formülü verir:
CER = (S + D + I) / N; burada S değiştirmeler, D silmeler, I eklemeler, N de referanstaki karakter sayısıdır (N = S + D + C, C doğru karakterler).
Arapça bir örnek. Referans “وبالكتاب” (“ve kitapla”, tek kelime, 8 harf). Transkript, bir elifi eksik olan “وبلكتاب”:
| Metrik | Hatalar | Referans birimleri | Puan |
|---|---|---|---|
| WER | 1 yanlış kelime | 1 kelime | 1,0 (%100) |
| CER | 1 silinmiş harf | 8 karakter | 0,125 (%12,5) |
Tek bir eksik harf, WER için bütün kelimeyi yanlış yapar. CER transkriptin neredeyse doğru olduğunu gösterir.
Python’da jiwer paketi bunu jiwer.cer(reference, hypothesis) ile hesaplar; jiwer.process_characters hizalamayı da döndürür. WER’de olduğu gibi önce iki tarafı da normalize edin: noktalama, boşluklar ve Arapça için harekeler ile elif veya ye biçimleri. Bkz. Arapça metin normalizasyonu.
Neden önemli
- Arapça morfoloji. Arapça bağlaçları, edatları ve zamirleri kelimelere klitik olarak ekler; bu yüzden tek bir kelime İngilizcenin üç dört kelimeyle yazdığını taşıyabilir. Tek bir yanlış ön ek harfi WER’de bütün bir kelimeye mal olur. CER onu tek karakter olarak tartar.
- Boşluksuz diller. WER kelime sınırlarına ihtiyaç duyar. Hugging Face kartı CER’in “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (çeviri: özellikle dillerin çeşitliliği nedeniyle WER’in uygun olmadığı çok dilli veri setlerinde) yararlı olduğunu söyler.
- Hata türü. WER’i yüksek ama CER’i düşük bir model kelimeleri neredeyse doğru buluyordur: normalizasyonun veya bir düzeltme adımının giderebileceği yazım, hemze ya da klitik kaymaları. Yüksek CER, modelin bütün kelimeleri veya içeriği kaçırdığı anlamına gelir.
- OCR’de de. Aynı metrik görüntülerden okunan metni de puanlar; bu yüzden OCR işlem hatlarını karşılaştırırken yararlıdır.
Metrik kartı, CER’in hataların neden oluştuğunu söylemediği konusunda da uyarır. Puanla birlikte örnek transkriptleri de okuyun.
BroadNet Inference’ta
BroadNet, BroadNet Transcribe Arabic ve BroadNet Transcribe için CER değil WER yayımlar. CER için kendi kayıtlarınızdan oluşan bir test setini yazıya döküp kendiniz puanlayın. Arapça WER açıklaması yazısında bir normalizasyon fonksiyonu ve hem WER’i hem CER’i yazdıran bir jiwer betiği var; Arapça konuşmadan metne rehberi de istek kodunu içerir. Her zaman language=ar gönderin: o olmadan Arapça Latin harflerine çevrilmiş olarak dönebilir ve bu iki puanı da bozar.
Sık yapılan hatalar
- Boşlukları tutarsız saymak. Boşlukların karakter sayılıp sayılmayacağına karar verin ve karşılaştırdığınız her modele aynı kuralı uygulayın.
- CER’i başkasının WER’iyle karşılaştırmak. Bunlar farklı ölçeklerdir. Aynı türü aynı türle karşılaştırın.