Dieselben drei arabischen Buchstaben können „er schrieb“, „Bücher“ oder „es wurde geschrieben“ bedeuten. Erst die Diakritika unterscheiden sie, und die meisten Texte lassen sie weg.
So funktioniert es
Der Unicode-Standard nennt diese Zeichen Tashkil und sagt, sie „may be written as combining marks“ (Übersetzung: „können als kombinierende Zeichen geschrieben werden“), und ergänzt: „In normal writing, however, these marks are omitted.“ (Übersetzung: „Im normalen Schreiben werden diese Zeichen jedoch weggelassen.“) Harakat heißt die Teilmenge für kurze Vokale. Jedes Zeichen ist ein eigenes kombinierendes Zeichen, das auf den Buchstaben folgt, auf dem es sitzt. Die wichtigsten liegen im Bereich U+064B bis U+0652:
| Codepoint | Name | Funktion |
|---|---|---|
| U+064E | FATHA | kurzes a |
| U+064F | DAMMA | kurzes u |
| U+0650 | KASRA | kurzes i |
| U+064B bis U+064D | FATHATAN, DAMMATAN, KASRATAN | Tanwin (Endungen -an, -un, -in) |
| U+0651 | SHADDA | verdoppelter Konsonant |
| U+0652 | SUKUN | kein Vokal |
Ein Beispiel mit dem nackten Wort كتب:
- كَتَبَ (kataba), „er schrieb“
- كُتُب (kutub), „Bücher“
- كُتِبَ (kutiba), „es wurde geschrieben“
Ohne Zeichen sind alle drei derselbe String. Ein Leser erschließt die Bedeutung aus dem Satz. Software muss dasselbe tun; das ist die Aufgabe eines Diakritisierers. Zerrouki und Balla (2017) haben das Tashkeela-Korpus mit rund 75,6 Millionen Wörtern aufgebaut, überwiegend klassisches Arabisch, weil voll vokalisierter Text knapp ist und Diakritisierer ihn zum Training brauchen. Fadel et al. (2019) berichten von neuronalen Diakritisierungsmodellen, die frühere Arbeiten auf einem öffentlichen Benchmark erreichen oder übertreffen, und zeigen, dass Diakritika der maschinellen Übersetzung helfen können.
Bibliotheken behandeln diese Zeichen als eine Menge. AR_DIAC_CHARSET in CAMeL Tools umfasst U+064B bis U+0652 plus U+0670 (hochgestelltes Alef), und die Funktion dediac_ar entfernt sie.
Warum es wichtig ist
- Suche und Abgleich. Dasselbe Wort mit und ohne Zeichen getippt ist ein anderer String. Entfernen Sie die Zeichen im Rahmen der arabischen Textnormalisierung aus dem Suchschlüssel, sonst scheitern exakte Treffer.
- Tokens. Jedes Zeichen ist ein zusätzliches Zeichen für den Tokenizer. Voll vokalisierter Text verbraucht spürbar mehr Tokens als unvokalisierter; gemessene Verhältnisse stehen im Leitfaden zur Diakritisierung, die Ausgangswerte in arabische Tokens pro Wort.
- Sprache und Evaluierung. Transkripte kommen meist ohne Zeichen zurück. Berechnen Sie die Wortfehlerrate erst, nachdem Sie die Diakritika aus beiden Texten entfernt haben, sonst zählt ein korrektes Wort mit einem zusätzlichen Fatha als Fehler.
- Wann Sie sie brauchen. Text-to-Speech, Sprachunterricht, Koran- und Gedichttexte sowie Namen, die ohne Vokale mehrdeutig sind.
Bei BroadNet Inference
BroadNet hat keinen Endpoint für Diakritisierung. Die Chat-Modelle erhalten Tashkeel als normalen Text über POST /v1/chat/completions; Sie können also ein Modell wie Qwen3.8 27B bitten, Zeichen hinzuzufügen oder zu entfernen. Sicher ist es, die Antwort im Code zu prüfen: Entfernen Sie die Diakritika und vergleichen Sie Buchstabe für Buchstabe mit Ihrer Eingabe. Der Beitrag zur Diakritisierung mit LLMs enthält den Prompt und die Prüfung.
Zum Entfernen brauchen Sie gar kein Modell. Ein kurzer regulärer Ausdruck über U+064B bis U+0652 ist schneller, kostenlos und exakt. Der Normalisierer für arabischen Text zeigt die Wirkung im Browser.