BroadRouter

Arapça harekeler (tashkeel)

Güncellendi

Arapça harekeler (tashkeel), kısa ünlüleri, ikizleşen ünsüzleri ve ünlü yokluğunu göstermek için harflerin üstüne veya altına yazılan küçük işaretlerdir. İsteğe bağlıdırlar: haberler dahil Arapça metinlerin çoğu onları yazmaz; okur da yazılım da ünlüleri bağlamdan çıkarır.

Diğer adları: Arapça hareke, harekeler, harekeleme, Arapça harekeleme, üstün esre ötre, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

Aynı üç Arapça harf “yazdı”, “kitaplar” ya da “yazıldı” anlamına gelebilir. Bunları ayıran harekelerdir ve metinlerin çoğu onları yazmaz.

Nasıl çalışır

Unicode Standardı bu işaretlere tashkil der ve “may be written as combining marks” (çeviri: birleşen işaretler olarak yazılabilir) dedikten sonra ekler: “In normal writing, however, these marks are omitted.” (çeviri: Ancak normal yazımda bu işaretler atlanır.) Harakat, kısa ünlü işaretlerinin alt kümesinin adıdır. Her işaret, üzerinde durduğu harften sonra gelen ayrı bir birleşen karakterdir. Başlıcaları U+064B ile U+0652 aralığındadır:

Kod noktası Ad Görev
U+064E FATHA kısa a (üstün)
U+064F DAMMA kısa u (ötre)
U+0650 KASRA kısa i (esre)
U+064B - U+064D FATHATAN, DAMMATAN, KASRATAN tenvin (-an, -un, -in sonları)
U+0651 SHADDA ikizleşen ünsüz (şedde)
U+0652 SUKUN ünlü yok (cezm)

Çıplak كتب kelimesiyle bir örnek:

  • كَتَبَ (kataba), “yazdı”
  • كُتُب (kutub), “kitaplar”
  • كُتِبَ (kutiba), “yazıldı”

İşaretler olmadan üçü de aynı dizedir. Okur anlamı cümleden seçer. Yazılım da aynısını yapmak zorundadır; bu bir harekeleyicinin (diacritizer) işidir. Zerrouki ve Balla (2017), tam harekeli metin az bulunduğu ve harekeleyicilerin eğitim için buna ihtiyaç duyduğu için, çoğu Klasik Arapça olan yaklaşık 75,6 milyon kelimelik Tashkeela derlemini oluşturdu. Fadel vd. (2019), açık bir kıyaslama setinde önceki çalışmalara denk gelen veya onları geçen sinir ağı tabanlı harekeleme modelleri bildirir ve harekelerin makine çevirisine yardımcı olabileceğini gösterir.

Kütüphaneler bu işaretleri tek bir küme olarak ele alır. CAMeL Tools’un AR_DIAC_CHARSET kümesi U+064B - U+0652 aralığını ve U+0670’i (üst simge elif) içerir; dediac_ar fonksiyonu da bunları siler.

Neden önemli

  • Arama ve eşleştirme. İşaretli ve işaretsiz yazılan aynı kelime farklı dizelerdir. Arapça metin normalizasyonu kapsamında arama anahtarından silin; yoksa tam eşleşmeler başarısız olur.
  • Token. Her işaret, tokenizer için fazladan bir karakterdir. Tam harekeli metin, çıplak metne göre belirgin biçimde daha fazla token kullanır; ölçülen oranlar için harekeleme rehberine, temel değerler için Arapçada kelime başına token yazısına bakın.
  • Konuşma ve değerlendirme. Transkriptler genellikle işaretsiz döner. Kelime hata oranını her iki metinden harekeleri sildikten sonra hesaplayın; yoksa fazladan bir fatha taşıyan doğru kelime hata sayılır.
  • Ne zaman gerekir? Metinden sese (TTS), dil öğretimi, Kuran ve şiir metinleri ve ünlüler olmadan belirsiz kalan adlar.

BroadNet Inference’ta

BroadNet’in harekeleme uç noktası yoktur. Sohbet modelleri tashkeel’i POST /v1/chat/completions üzerinden sıradan metin olarak alır; bu yüzden Qwen3.8 27B gibi bir modelden işaret eklemesini veya silmesini isteyebilirsiniz. Güvenli yöntem yanıtı kodda kontrol etmektir: harekeleri silin ve girdinizle harf harf karşılaştırın. İstem ve kontrol kodu LLM ile harekeleme yazısında.

Silmek için hiç model kullanmayın. U+064B - U+0652 aralığı üzerinde kısa bir regex daha hızlı, ücretsiz ve kesindir. Arapça metin normalleştirici etkisini tarayıcıda gösterir.

Sık sorulan sorular

Arapça metni indekslemeden önce harekeleri silmeli miyim?

Anahtar kelime araması için genellikle evet, ama yalnızca arama anahtarında. Tashkeela'nın yazarları çoğu arama motorunun harekeleri yok saydığını belirtir. Gösterim ve LLM için orijinal metni saklayın.

Harekeli Arapça neden daha fazla token tutar?

Her işaret ayrı bir Unicode karakteridir; tam harekeli bir kelimede tokenizer'ın böleceği karakter sayısı artar. Hareke eklemeden önce ve sonra kendi metninizi bir token sayacıyla ölçün.

Bir LLM harekeleri güvenilir şekilde ekleyebilir mi?

Ekleyebilir, ama harfleri de değiştirebilir. Yanıttaki işaretleri silip girdiyle karşılaştırın; tek bir harfi değişmiş yanıtı reddedin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor