Aynı üç Arapça harf “yazdı”, “kitaplar” ya da “yazıldı” anlamına gelebilir. Bunları ayıran harekelerdir ve metinlerin çoğu onları yazmaz.
Nasıl çalışır
Unicode Standardı bu işaretlere tashkil der ve “may be written as combining marks” (çeviri: birleşen işaretler olarak yazılabilir) dedikten sonra ekler: “In normal writing, however, these marks are omitted.” (çeviri: Ancak normal yazımda bu işaretler atlanır.) Harakat, kısa ünlü işaretlerinin alt kümesinin adıdır. Her işaret, üzerinde durduğu harften sonra gelen ayrı bir birleşen karakterdir. Başlıcaları U+064B ile U+0652 aralığındadır:
| Kod noktası | Ad | Görev |
|---|---|---|
| U+064E | FATHA | kısa a (üstün) |
| U+064F | DAMMA | kısa u (ötre) |
| U+0650 | KASRA | kısa i (esre) |
| U+064B - U+064D | FATHATAN, DAMMATAN, KASRATAN | tenvin (-an, -un, -in sonları) |
| U+0651 | SHADDA | ikizleşen ünsüz (şedde) |
| U+0652 | SUKUN | ünlü yok (cezm) |
Çıplak كتب kelimesiyle bir örnek:
- كَتَبَ (kataba), “yazdı”
- كُتُب (kutub), “kitaplar”
- كُتِبَ (kutiba), “yazıldı”
İşaretler olmadan üçü de aynı dizedir. Okur anlamı cümleden seçer. Yazılım da aynısını yapmak zorundadır; bu bir harekeleyicinin (diacritizer) işidir. Zerrouki ve Balla (2017), tam harekeli metin az bulunduğu ve harekeleyicilerin eğitim için buna ihtiyaç duyduğu için, çoğu Klasik Arapça olan yaklaşık 75,6 milyon kelimelik Tashkeela derlemini oluşturdu. Fadel vd. (2019), açık bir kıyaslama setinde önceki çalışmalara denk gelen veya onları geçen sinir ağı tabanlı harekeleme modelleri bildirir ve harekelerin makine çevirisine yardımcı olabileceğini gösterir.
Kütüphaneler bu işaretleri tek bir küme olarak ele alır. CAMeL Tools’un AR_DIAC_CHARSET kümesi U+064B - U+0652 aralığını ve U+0670’i (üst simge elif) içerir; dediac_ar fonksiyonu da bunları siler.
Neden önemli
- Arama ve eşleştirme. İşaretli ve işaretsiz yazılan aynı kelime farklı dizelerdir. Arapça metin normalizasyonu kapsamında arama anahtarından silin; yoksa tam eşleşmeler başarısız olur.
- Token. Her işaret, tokenizer için fazladan bir karakterdir. Tam harekeli metin, çıplak metne göre belirgin biçimde daha fazla token kullanır; ölçülen oranlar için harekeleme rehberine, temel değerler için Arapçada kelime başına token yazısına bakın.
- Konuşma ve değerlendirme. Transkriptler genellikle işaretsiz döner. Kelime hata oranını her iki metinden harekeleri sildikten sonra hesaplayın; yoksa fazladan bir fatha taşıyan doğru kelime hata sayılır.
- Ne zaman gerekir? Metinden sese (TTS), dil öğretimi, Kuran ve şiir metinleri ve ünlüler olmadan belirsiz kalan adlar.
BroadNet Inference’ta
BroadNet’in harekeleme uç noktası yoktur. Sohbet modelleri tashkeel’i POST /v1/chat/completions üzerinden sıradan metin olarak alır; bu yüzden Qwen3.8 27B gibi bir modelden işaret eklemesini veya silmesini isteyebilirsiniz. Güvenli yöntem yanıtı kodda kontrol etmektir: harekeleri silin ve girdinizle harf harf karşılaştırın. İstem ve kontrol kodu LLM ile harekeleme yazısında.
Silmek için hiç model kullanmayın. U+064B - U+0652 aralığı üzerinde kısa bir regex daha hızlı, ücretsiz ve kesindir. Arapça metin normalleştirici etkisini tarayıcıda gösterir.