Arabizi, auch Franco-Arabisch oder „Franco“ genannt, ist Arabisch in lateinischen Buchstaben, mit Ziffern für Laute, die das lateinische Alphabet nicht hat, etwa 3 für ع und 7 für ح. Um es mit einem LLM zu verarbeiten, erkennen Sie es, lassen das Modell es unter Angabe des Dialekts in arabische Schrift umwandeln und lassen den Rest Ihrer Pipeline auf dem arabischen Text laufen.
„ana 3ayez a7gez ma3ad bokra“ ist in Ägypten eine ganz normale Kundennachricht: „أنا عايز أحجز ميعاد بكرة“ (Ich möchte morgen einen Termin buchen). Arabizi entstand auf Telefonen und Computern ohne arabische Tastatur und taucht im Chat bis heute auf.
Welche Ziffern stehen für welche arabischen Buchstaben?
Einen Standard gibt es nicht, aber Ziffern werden für arabische Buchstaben verwendet, die ihnen ähnlich sehen oder keine lateinische Entsprechung haben. Der Überblick zum arabischen Chat-Alphabet listet die gängigen Konventionen:
| Ziffer | Arabischer Buchstabe | Beispiel | Arabische Schrift | Bedeutung |
|---|---|---|---|---|
| 2 | ء (Hamza) / أ | so2al | سؤال | Frage |
| 3 | ع | 3arabi | عربي | arabisch |
| 3’ oder 8 | غ | 8aly / 3’aly | غالي | teuer |
| 5 oder kh | خ | 5alas | خلاص | fertig / genug |
| 6 | ط | 6ayeb | طيب | okay (Golf) |
| 7 | ح | 7abibi | حبيبي | mein Lieber |
| 9 | ص | 9ba7 | صباح | Morgen (Golf) |
| 8 | ق (in manchen Regionen) | 8alb | قلب | Herz |
Die regionalen Gewohnheiten unterscheiden sich. Der Überblick merkt zum Beispiel an, dass 8 für غ nur im Libanon verwendet wird, während 8 und 9 für ق in Saudi-Arabien verbreitet sind; im ägyptischen Arabizi kann 2 für ق stehen, wo dieses als Kehlkopfverschlusslaut ausgesprochen wird. Vokale werden nach Gehör geschrieben, sodass „ma3lesh“, „ma3lsh“ und „m3lsh“ (معلش, macht nichts) alle dasselbe Wort sind.
Warum ist Arabizi für Software schwierig?
- Es ist fast immer Dialekt. Menschen schreiben Arabizi so, wie sie sprechen; es bringt also alle Dialektprobleme auf einmal mit, ohne arabische Schrift als Anker.
- Es sieht aus wie Englisch oder Französisch. „bas“ ist auf Arabisch بس (aber / nur) und auf Englisch nichts; „men“ ist من (von / wer). Keyword-Detektoren und Tools zur Spracherkennung labeln Arabizi oft als Englisch oder eine andere Sprache in lateinischer Schrift.
- Keine Standardschreibung. Suche mit exakter Übereinstimmung, Intent-Regeln und Analysen brechen.
- Code-Switching. „el order bta3i lessa ma waslsh, can u check?“ mischt ägyptisches Arabizi und Englisch in einem Satz.
Regelbasierte Konverter tun sich schwer, weil eine lateinische Zeichenkette vielen arabischen Schreibungen entsprechen kann. Forschungssysteme wie die Arbeit von Darwish zur Erkennung und Umwandlung von Arabizi kombinierten Transliterations-Mining mit Sprachmodellierung, um das richtige Wort zu wählen, und meldeten 88,7 % Genauigkeit bei der Umwandlung. Moderne LLMs erledigen das praktisch in einem Schritt.
Wie gut verarbeiten LLMs Arabizi?
Große Modelle haben Arabizi in Web- und Social-Media-Texten gesehen und verstehen häufige Wendungen daher oft. Die Ergebnisse schwanken je nach Modell und Dialekt; testen Sie also, bevor Sie sich darauf verlassen. Typische Fehlermuster:
- Es als Englisch behandeln und auf eine falsch gelesene Nachricht antworten.
- In den falschen Dialekt umwandeln, etwa Ägyptisch in MSA-Wörter „übersetzen“, die den Ton verändern, oder Golf-Dialekt raten, wo der Nutzer Libanese ist.
- Uneinheitliche Ausgabeschrift: auf eine Nachricht in Arabizi antworten und auf die nächste in arabischer Schrift.
- Halluzinierte Genauigkeit bei Namen und Orten, deren lateinische Schreibung mehrdeutig ist.
Die Lösung ist dieselbe wie bei Dialekten allgemein: Sagen Sie dem Modell, was es erwarten und was es erzeugen soll.
Wie wandelt man Arabizi per LLM in arabische Schrift um?
Wandeln Sie Arabizi zuerst in arabische Schrift um und lassen Sie dann den Rest Ihrer Pipeline (Suche, Routing, Antworten) auf dem arabischen Text laufen. So bleibt es bei einem Codepfad, und Suche und Analysen funktionieren.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
"dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
"arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
"english_gloss": "<short English meaning>"}"""
def normalise(message: str) -> dict:
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=1500, # the model reasons first; leave room for the JSON
messages=[{"role": "system", "content": NORMALISE},
{"role": "user", "content": message}],
)
text = r.choices[0].message.content.strip()
text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
return json.loads(text) # validate the fields before you trust them
print(normalise("el order bta3i lessa ma waslsh, can u check?"))
Ein gutes Ergebnis:
{"script": "mixed", "dialect": "egyptian",
"arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
"english_gloss": "My order still hasn't arrived, can you check?"}
Hinweise zu diesem Aufbau:
- Dialektwörter behalten. Die Vorgabe „the message in Arabic script, keeping the dialect words“ (die Nachricht in arabischer Schrift, mit den Dialektwörtern) verhindert, dass sie stillschweigend in MSA umgeschrieben wird, was für Routing und Sentiment Bedeutung kosten würde.
- Das Original behalten. Speichern Sie die Rohnachricht neben der Umwandlung, für Audits und um Regeln nachzuschärfen.
- Einen günstigen Vorfilter nutzen. Eine einfache Prüfung (lateinische Buchstaben plus die Ziffern 2, 3, 5, 6, 7, 8 oder 9 innerhalb von Wörtern, wie im Regex unten) erkennt das meiste Arabizi, bevor Sie einen LLM-Aufruf ausgeben. Rein arabische oder rein englische Nachrichten können die Umwandlung überspringen. Für eine strengere Ausgabe verwenden Sie strukturierte Ausgabe mit einem Schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
return bool(ARABIZI_HINT.search(text)) and not re.search(r"[-ۿ]", text)
Der Hinweis übersieht Arabizi ohne Ziffern („ana mesh fahem“, ich verstehe nicht) und schlägt bei Produktcodes wie „a7x“ an; behandeln Sie ihn als Kostensparer, nicht als Klassifikator. Die eigentliche Entscheidung trifft das Feld script des LLM.
In welcher Schrift sollte die Antwort sein?
Entscheiden Sie pro Produkt, nicht pro Nachricht:
| Antwort in | Wann |
|---|---|
| Arabischer Schrift (MSA oder leichter Dialekt) | Standard für die meisten Unternehmen; für alle lesbar |
| Englisch | Wenn Ihre Supportsprache Englisch ist oder der Kunde überwiegend Englisch eingemischt hat |
| Arabizi | Marken mit junger Zielgruppe, die sich dem Stil des Kunden anpassen wollen; Stichproben von Muttersprachlern prüfen lassen |
Arabizi automatisch zu spiegeln, erzeugt meist Schreibungen, die Muttersprachlern seltsam vorkommen, weil es keinen Standard gibt, dem man folgen könnte. Wenn Sie es doch spiegeln, geben Sie dem Modell Beispiele Ihrer bevorzugten Schreibungen. Mehr zum Festlegen von Register und Schrift unter Prompt Engineering für Arabisch.
Welches Modell sollten Sie für Arabizi verwenden?
Sammeln Sie 50 bis 100 echte Arabizi-Nachrichten aus Ihren Kanälen, schreiben Sie zu jeder die korrekte Version in arabischer Schrift und den Intent auf und bewerten Sie die Kandidatenmodelle zuerst nach Intent-Genauigkeit und dann nach Umwandlungsqualität. BroadNet berichtet, dass Qwen3.8 27B in seinen Tests Golf- und ägyptischen Dialekt verstand und flüssiges Arabisch schrieb; ein eigenes Ergebnis zu Arabizi hat es nicht veröffentlicht, testen Sie es also mit Ihren Nachrichten. DeepSeek V4.1 Flash ist pro Output-Token günstiger, und BroadNet Gemma 4 VL 26B ist das günstigste BroadNet-Modell für einen Vorklassifizierungsschritt bei hohem Volumen. Die Preise stehen auf der Preisseite. Arabizi in lateinischer Schrift und arabische Schrift werden unterschiedlich tokenisiert; fügen Sie also beide Versionen einiger Nachrichten in den kostenlosen Token-Zähler ein, bevor Sie Kosten schätzen.
Wo taucht Arabizi auf?
- WhatsApp und Direktnachrichten in sozialen Netzwerken: die Hauptquelle. Siehe Architektur eines arabischen WhatsApp-Chatbots.
- Suchfelder: Nutzer tippen „7agz“ (حجز, Buchung). Normalisieren Sie Suchanfragen mit demselben Schritt vor dem Retrieval für arabisches RAG.
- Nicht aus Speech-to-Text, wenn Sie die Sprache mitsenden. Arabizi wird von Menschen getippt. Kommt ein Transkript arabischen Audios in lateinischen Buchstaben zurück, fehlt der Anfrage wahrscheinlich
language=ar; die Docs von BroadNet warnen, dass Arabisch sonst transliteriert werden kann. Siehe den Leitfaden für WhatsApp-Sprachnachrichten.
