Bevor Sie einem Nutzer in seinem Dialekt antworten können, müssen Sie wissen, in welchem Dialekt er geschrieben hat. Genau das ist Dialekterkennung.
So funktioniert es
Die Forschung misst das über die NADI Shared Tasks (Nuanced Arabic Dialect Identification). NADI 2020 nutzte Tweets aus 100 Provinzen in 21 arabischen Ländern, mit einer Teilaufgabe auf Länderebene und einer auf Provinzebene. NADI 2024 definierte Dialekterkennung als Multi-Label-Aufgabe, weil ein Satz in mehreren Dialekten gültig sein kann, und ergänzte eine Teilaufgabe zum Grad der Dialektalität. Das beste System in Teilaufgabe 1 erreichte 50,57 F1, und die Organisatoren schreiben, dass Dialekterkennung schwierig bleibt.
Das MADAR-Korpus (Bouamor et al., 2018) ist eine verbreitete Ressource: dieselben Sätze aus dem Reisebereich, übersetzt in die Dialekte von 25 Städten. 2.000 Sätze gibt es in allen 25, weitere 10.000 für Doha, Beirut, Kairo, Tunis und Rabat. Mit solchen parallelen Daten sieht man, wie dieselbe Bedeutung an jedem Ort geschrieben wird.
In der Praxis brauchen die meisten Produkte ein gröberes Label. Ein brauchbares Set:
| Label | Umfasst |
|---|---|
msa |
Modernes Hocharabisch |
gulf |
Saudisch, Emiratisch, Kuwaitisch, Katarisch, Bahrainisch, Omanisch |
egyptian |
Ägyptisch |
levantine |
Syrisch, Libanesisch, Jordanisch, Palästinensisch |
maghrebi |
Marokkanisch, Algerisch, Tunesisch, Libysch |
other_or_unclear |
Irakisch, Jemenitisch, Sudanesisch, gemischt oder zu kurz |
Ein LLM-Prompt dafür verlangt ein einziges JSON-Objekt: das Label, eine Konfidenz und die Wörter, die den Dialekt verraten haben. Die Nachricht عايز أغير الباقة käme zum Beispiel so zurück:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Die Frage nach den Hinweiswörtern macht Fehler leicht überprüfbar: Ist das Hinweiswort ein hocharabisches Wort, ist das Label verdächtig.
Warum es wichtig ist
- Routing. Kunden vom Golf an Agenten vom Golf weiterleiten oder den Antwort-Prompt auf den Dialekt des Nutzers umstellen.
- Evaluierung. Sprach- und Chat-Testsets nach Dialekt aufteilen. Ein einzelner Durchschnitt verdeckt die schwächste Gruppe, wie der Beitrag zur Spracherkennung arabischer Dialekte zeigt.
- Analytics. Wissen, welche Dialekte Ihre Nutzer tatsächlich schreiben, bevor Sie in einen investieren.
Gemischte Nachrichten sind häufig. Nutzer wechseln in einer Zeile zwischen Dialekt, Hocharabisch und Englisch; das ist Code-Switching. Behalten Sie ein Label „unklar“, statt eine Vermutung zu erzwingen.
Bei BroadNet Inference
BroadNet hat keinen Endpoint für Dialekterkennung. Sie können einen auf POST /v1/chat/completions aufbauen. Die API-Referenz von BroadNet dokumentiert strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B, was zu einer festen Labelliste passt; siehe strukturierte Ausgabe. BroadNet berichtet, Qwen3.8 27B getestet zu haben, wobei golf-arabische und ägyptische Dialekte verstanden wurden. BroadNet veröffentlicht für kein Modell eine Genauigkeit der Dialekterkennung; labeln Sie also etwa 100 Ihrer eigenen Nachrichten von Hand und messen Sie das Modell daran, bevor Sie sich darauf verlassen.
Der Beitrag zur Klassifikation arabischer Texte behandelt Prompts, Labellisten und Bewertung für diese Art von Aufgabe, und arabische Dialekte erklärt, was die Labels bedeuten.