BroadRouter

Arabische Diakritika (Tashkeel)

Aktualisiert

Arabische Diakritika, auch Tashkeel genannt, sind kleine Zeichen über oder unter den Buchstaben, die kurze Vokale, verdoppelte Konsonanten und das Fehlen eines Vokals anzeigen. Sie sind optional: Die meisten arabischen Texte, auch Nachrichten, lassen sie weg, und Leser wie Software erschließen die Vokale aus dem Kontext.

Auch genannt: arabische Diakritika, arabische Vokalzeichen, Vokalisierung, Diakritisierung, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

Dieselben drei arabischen Buchstaben können „er schrieb“, „Bücher“ oder „es wurde geschrieben“ bedeuten. Erst die Diakritika unterscheiden sie, und die meisten Texte lassen sie weg.

So funktioniert es

Der Unicode-Standard nennt diese Zeichen Tashkil und sagt, sie „may be written as combining marks“ (Übersetzung: „können als kombinierende Zeichen geschrieben werden“), und ergänzt: „In normal writing, however, these marks are omitted.“ (Übersetzung: „Im normalen Schreiben werden diese Zeichen jedoch weggelassen.“) Harakat heißt die Teilmenge für kurze Vokale. Jedes Zeichen ist ein eigenes kombinierendes Zeichen, das auf den Buchstaben folgt, auf dem es sitzt. Die wichtigsten liegen im Bereich U+064B bis U+0652:

Codepoint Name Funktion
U+064E FATHA kurzes a
U+064F DAMMA kurzes u
U+0650 KASRA kurzes i
U+064B bis U+064D FATHATAN, DAMMATAN, KASRATAN Tanwin (Endungen -an, -un, -in)
U+0651 SHADDA verdoppelter Konsonant
U+0652 SUKUN kein Vokal

Ein Beispiel mit dem nackten Wort كتب:

  • كَتَبَ (kataba), „er schrieb“
  • كُتُب (kutub), „Bücher“
  • كُتِبَ (kutiba), „es wurde geschrieben“

Ohne Zeichen sind alle drei derselbe String. Ein Leser erschließt die Bedeutung aus dem Satz. Software muss dasselbe tun; das ist die Aufgabe eines Diakritisierers. Zerrouki und Balla (2017) haben das Tashkeela-Korpus mit rund 75,6 Millionen Wörtern aufgebaut, überwiegend klassisches Arabisch, weil voll vokalisierter Text knapp ist und Diakritisierer ihn zum Training brauchen. Fadel et al. (2019) berichten von neuronalen Diakritisierungsmodellen, die frühere Arbeiten auf einem öffentlichen Benchmark erreichen oder übertreffen, und zeigen, dass Diakritika der maschinellen Übersetzung helfen können.

Bibliotheken behandeln diese Zeichen als eine Menge. AR_DIAC_CHARSET in CAMeL Tools umfasst U+064B bis U+0652 plus U+0670 (hochgestelltes Alef), und die Funktion dediac_ar entfernt sie.

Warum es wichtig ist

  • Suche und Abgleich. Dasselbe Wort mit und ohne Zeichen getippt ist ein anderer String. Entfernen Sie die Zeichen im Rahmen der arabischen Textnormalisierung aus dem Suchschlüssel, sonst scheitern exakte Treffer.
  • Tokens. Jedes Zeichen ist ein zusätzliches Zeichen für den Tokenizer. Voll vokalisierter Text verbraucht spürbar mehr Tokens als unvokalisierter; gemessene Verhältnisse stehen im Leitfaden zur Diakritisierung, die Ausgangswerte in arabische Tokens pro Wort.
  • Sprache und Evaluierung. Transkripte kommen meist ohne Zeichen zurück. Berechnen Sie die Wortfehlerrate erst, nachdem Sie die Diakritika aus beiden Texten entfernt haben, sonst zählt ein korrektes Wort mit einem zusätzlichen Fatha als Fehler.
  • Wann Sie sie brauchen. Text-to-Speech, Sprachunterricht, Koran- und Gedichttexte sowie Namen, die ohne Vokale mehrdeutig sind.

Bei BroadNet Inference

BroadNet hat keinen Endpoint für Diakritisierung. Die Chat-Modelle erhalten Tashkeel als normalen Text über POST /v1/chat/completions; Sie können also ein Modell wie Qwen3.8 27B bitten, Zeichen hinzuzufügen oder zu entfernen. Sicher ist es, die Antwort im Code zu prüfen: Entfernen Sie die Diakritika und vergleichen Sie Buchstabe für Buchstabe mit Ihrer Eingabe. Der Beitrag zur Diakritisierung mit LLMs enthält den Prompt und die Prüfung.

Zum Entfernen brauchen Sie gar kein Modell. Ein kurzer regulärer Ausdruck über U+064B bis U+0652 ist schneller, kostenlos und exakt. Der Normalisierer für arabischen Text zeigt die Wirkung im Browser.

Häufige Fragen

Sollte ich Diakritika entfernen, bevor ich arabischen Text indexiere?

Für die Stichwortsuche meist ja, aber nur im Suchschlüssel. Die Autoren von Tashkeela weisen darauf hin, dass die meisten Suchmaschinen Diakritika ignorieren. Behalten Sie den Originaltext für die Anzeige und für das LLM.

Warum kostet vokalisiertes Arabisch mehr Tokens?

Jedes Zeichen ist ein eigenes Unicode-Zeichen, ein voll vokalisiertes Wort hat also mehr Zeichen, die der Tokenizer zerlegen muss. Zählen Sie Ihren eigenen Text mit einem Token-Zähler, vor und nach dem Hinzufügen von Tashkeel.

Kann ein LLM zuverlässig Diakritika setzen?

Es kann sie setzen, verändert dabei aber unter Umständen auch Buchstaben. Entfernen Sie die Zeichen aus der Antwort und vergleichen Sie mit der Eingabe; verwerfen Sie jede Antwort, in der sich ein Buchstabe geändert hat.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen