BroadRouter

Arabische Textklassifikation mit LLM: Sentiment, Intent, Triage

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Um arabischen Text mit einem LLM zu klassifizieren, definieren Sie eine kurze Labelliste mit einzeiligen Definitionen, geben einige gelabelte Beispiele in jedem vorkommenden Dialekt, fordern JSON mit einem Label und einem kurzen Zitat als Beleg an und setzen das Reasoning niedrig. Bewerten Sie das Modell dann an 200 von Hand gelabelten Nachrichten mit Macro-F1, bevor Sie ihm vertrauen. Feinabgestimmte arabische Modelle können ein allgemeines LLM dennoch schlagen.

Klassifikationsaufgaben auf Arabisch gibt es überall: Ist diese Bewertung positiv, ist diese WhatsApp-Nachricht eine Beschwerde, welches Team soll dieses Ticket bekommen, ist es dringend? Vor LLMs brauchte jede dieser Aufgaben einen gelabelten Datensatz und ein feinabgestimmtes Modell. Heute können Sie mit einem Prompt beginnen. Das geht schneller, aber man liefert leicht einen Klassifikator aus, der bei zehn Beispielen gut aussieht und bei Golf-Dialekt scheitert. Dieser Beitrag behandelt Prompt, Ausgabeformat, Test und Kosten.

Welche Klassifikationsaufgaben passen zu einem LLM?

Aufgabe Labels, zum Beispiel Hinweise
Sentiment positiv, negativ, neutral, gemischt Bei neutral und gemischt sind sich Menschen und Modelle am uneinigsten
Intent Beschwerde, Frage, Bestellung, Kündigung, Sonstiges Behalten Sie „Sonstiges“; ein erzwungenes Label erzeugt Fehler
Ticket-Routing Abrechnung, Lieferung, Technik, Konto Richten Sie die Labels an Ihren echten Teams aus
Dringlichkeit dringend, normal Definieren Sie dringend in einer Zeile: „Der Kunde kann den Dienst gerade nicht nutzen“
Dialekt oder Schrift MSA, Golf, Ägyptisch, Levantinisch, Arabizi Nützlich, um zur richtigen Antwortvorlage zu leiten; siehe Arabizi
Themen-Tags Mehrere Labels aus einer festen Liste Fordern Sie eine Liste an und begrenzen Sie ihre Länge

Ein LLM passt gut, wenn Sie wenige gelabelte Beispiele haben, wenn sich Labels oft ändern oder wenn Sie zu jedem Label eine Begründung wollen. Ein feinabgestimmter Klassifikator passt gut, wenn die Labels stabil sind, das Volumen riesig ist und Sie bereits Tausende gelabelte Beispiele haben.

Was sagt die Forschung zu LLMs auf Arabisch?

Zwei Ergebnisse sollten Sie kennen, bevor Sie beginnen:

  • Feinabgestimmte arabische Modelle können gewinnen. GPTAraEval testete ChatGPT mit 44 arabischen Aufgaben und fand es „consistently surpassed by smaller models that have undergone finetuning on Arabic“ (Übersetzung: „durchgängig von kleineren, auf Arabisch feinabgestimmten Modellen übertroffen“). Die Autoren fanden außerdem schwächere Ergebnisse bei Dialekten als bei modernem Hocharabisch (Khondaker et al.).
  • Dialektbewusste Prompts helfen. Eine Studie von RANLP 2025 zu DeepSeek-R1, Qwen2.5 und LLaMA-3 bei der Sentimentanalyse in MSA, saudischem Dialekt und marokkanischem Darija berichtet, dass dialektbewusstes Prompting die Genauigkeit verbesserte, besonders bei den Klassen neutral und negativ (Alharbi et al.).

Das sind ältere oder andere Modelle als die, die Sie nutzen werden; behandeln Sie die Ergebnisse also als Richtung, nicht als Zahlen. Die Lehre gilt trotzdem: Messen Sie an Ihren eigenen Nachrichten, pro Dialekt.

Wie gestaltet man die Labels?

Beginnen Sie hier, nicht beim Modell.

  1. Halten Sie die Liste kurz. Vier bis acht Labels pro Frage. Stellen Sie getrennte Fragen (Sentiment, Intent, Dringlichkeit) als getrennte Felder, nicht als eine riesige Liste.
  2. Definieren Sie jedes Label in einer Zeile, mit dem, was es nicht ist: „Beschwerde: Der Kunde meldet ein Problem mit etwas, das er gekauft hat. Keine Frage zum Preis.“
  3. Fügen Sie ein Ausweich-Label hinzu, etwa other oder unclear.
  4. Entscheiden Sie die gemischten Fälle vorab. „Die Lieferung kam zu spät, aber der Fahrer war freundlich“ ist gemischt, nicht neutral. Halten Sie diese Regel schriftlich fest.

Labeldefinitionen können auf Englisch sein, auch wenn der Text arabisch ist. Behalten Sie die Labelwerte auf Englisch, damit Ihr Code nicht von arabischem String-Abgleich abhängt.

Welcher Prompt funktioniert für arabische Klassifikation?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Warum jeder Teil da ist:

  • Die Dialektzeile sagt dem Modell, was zu erwarten ist; das ist das dialektbewusste Prompting, das die RANLP-Studie als hilfreich befand.
  • Beispiele in mehr als einem Dialekt. Die Beispiele oben mischen Golf- und ägyptischen Dialekt. Verwenden Sie echte (anonymisierte) Nachrichten aus Ihrem eigenen Traffic.
  • Der Beleg als Zitat lässt einen Prüfer ein Label in einer Sekunde kontrollieren und macht Raten leichter erkennbar.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3 und DeepSeek V4.1 Flash denken vor der Antwort nach, und das Reasoning zählt zu max_tokens. Die Docs von BroadNet empfehlen, reasoning_effort auf low zu setzen oder 1.000 Tokens oder mehr Spielraum zu lassen. Warum Antworten sonst leer zurückkommen.
  • Unbekannte Labels im Code verwerfen. Verlassen Sie sich nie darauf, dass das Modell bei der Liste bleibt.

Für einen strengeren Ausgabevertrag siehe JSON Mode vs. json_schema. BroadNet listet strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B.

Welches BroadNet-Modell sollten Sie verwenden?

Modell Warum wählen Input / Output pro 1 Mio. Tokens
Qwen3.8 27B Von BroadNet auf Arabisch getestet: versteht Golf- und ägyptischen Dialekt; strukturierte Ausgabe gelistet $0.175 / $2.17
BroadNet Gemma 4 VL 26B Niedrigster Preis pro Token bei BroadNet; läuft mit dem Startguthaben von $5; strukturierte Ausgabe nicht gelistet, Ausgabe also streng validieren $0.10 / $0.22
DeepSeek V4.1 Flash Auch im Flatrate-Plan für $60 pro Monat und Session, eine Anfrage gleichzeitig $0.175 / $0.52
GLM 5.3 Strukturierte Ausgabe gelistet; höchster Preis der vier $0.78 / $3.46

Lassen Sie Ihr Testset zuerst auf Qwen3.8 27B und Gemma 4 VL 26B laufen. Liegen die Werte von Gemma nah genug, ist es für kurze Labels die günstigere Wahl. Entscheiden Sie anhand Ihrer Zahlen, nicht anhand dieser Tabelle.

Wie testet man den Klassifikator?

  1. Labeln Sie 200 echte Nachrichten von Hand, mit einem Muttersprachler und nach den Labeldefinitionen oben. Nehmen Sie jeden Dialekt auf, den Sie erhalten, mindestens 30 pro Dialekt.
  2. Lassen Sie das Modell über alle 200 laufen.
  3. Berechnen Sie Macro-F1, den Durchschnitt der F1-Werte pro Label, damit seltene Labels genauso zählen wie häufige. Die Accuracy allein verdeckt ein Modell, das nie cancel sagt.
  4. Lesen Sie die Konfusionsmatrix. Werden question und complaint oft vertauscht, überschneiden sich die Definitionen: Korrigieren Sie die Definitionen, bevor Sie das Modell wechseln.
  5. Teilen Sie die Ergebnisse nach Dialekt auf. Ein Modell kann in MSA stark und im Golf-Dialekt schwach sein.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Lassen Sie dasselbe Set bei jeder Änderung an Prompt oder Modell erneut laufen. Wie Sie ein LLM vor dem Wechsel bewerten behandelt die Pflege eines festen Testsets.

Wie klassifiziert man große Volumen?

Klassifikation ist inputlastig: ein langer System-Prompt, eine kurze Nachricht und eine Antwort aus einem Wort. Drei Hebel zählen.

Bündeln Sie Nachrichten pro Anfrage. Ein Pay-as-you-go-Schlüssel bei BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Eine Nachricht pro Anfrage begrenzt Sie auf 30 Nachrichten pro Minute und Schlüssel, oder das 1.440-Fache davon pro Tag. Senden Sie 20 kurze Nachrichten als nummerierte Liste und fordern Sie ein JSON-Array mit 20 Ergebnissen an: Dasselbe Rate Limit deckt dann zwanzigmal mehr Nachrichten ab. Prüfen Sie, ob die Länge des Arrays stimmt und jedes Element seine Nummer hat.

Halten Sie das Präfix des Prompts identisch. System-Prompt und Beispiele sind bei jedem Aufruf gleich. Stellen Sie sie an den Anfang und die Nachricht ans Ende, damit sie zum Preis für gecachten Input aus dem Cache gelesen werden können, etwa $0.0435 statt $0.175 pro 1 Mio. bei Qwen3.8 27B. So strukturieren Sie Prompts, damit das Präfix gecacht wird.

Halten Sie die Ausgabe kurz. Output-Tokens kosten mehr als Input-Tokens. Ein Label und ein kurzes Zitat genügen; lassen Sie das Belegfeld weg, sobald Sie dem Modell vertrauen.

Arabisch braucht meist mehr Tokens pro Wort als Englisch. Zählen Sie also eine Probe Ihrer Nachrichten mit dem arabischen Token-Zähler und rechnen Sie den Monat dann im LLM-API-Kostenrechner durch.

Welche Fehler sollten Sie vermeiden?

  • Mit englischen Übersetzungen testen. Übersetzter Text ist nicht das, was Ihre Kunden schreiben.
  • Eine Note für alle Dialekte. Melden Sie jeden Dialekt getrennt.
  • Kein Ausweich-Label. Wer jede Nachricht in ein echtes Label zwingt, treibt die Fehler hoch.
  • Freitext-Antworten. „Es wirkt negativ“ lässt sich nicht parsen. Fordern Sie JSON an und validieren Sie.
  • Sarkasmus ignorieren. „ما شاء الله، ثالث مرة يتأخر الطلب“ (sinngemäß: „Na großartig, zum dritten Mal verspätet sich die Bestellung“) liest sich Wort für Wort positiv und ist eine Beschwerde. Nehmen Sie ein solches Beispiel in den Prompt auf.

Wann ist ein LLM der falsche Klassifikator?

Wenn die Labels stabil sind, Sie bereits Tausende gelabelte Beispiele haben und das Volumen in die Millionen geht, ist ein feinabgestimmtes arabisches Encoder-Modell pro Nachricht meist günstiger und kann laut GPTAraEval genauer sein. Für große Offline-Jobs, die warten können, ist ein Anbieter mit Batch API womöglich ebenfalls günstiger: OpenAI wirbt mit 50 % Rabatt für Batch-Jobs, die innerhalb von 24 Stunden abgeschlossen werden. BroadNet hat keine Batch API. Ein verbreitetes Muster: Ein LLM labelt die ersten paar tausend Nachrichten, Sie prüfen sie von Hand und trainieren mit dem Ergebnis ein kleines Modell.

Wo BroadNet Inference einzuordnen ist

BroadNet bietet ein auf Arabisch getestetes Modell (Qwen3.8 27B), ein günstiges Modell für das Startguthaben (Gemma 4 VL 26B) und eine Flatrate-Option (DeepSeek V4.1 Flash) hinter einem OpenAI-kompatiblen Schlüssel, ohne dass Nachrichteninhalte nach der Anfrage gespeichert werden. Das passt zu Supportteams, die arabische Nachrichten klassifizieren wollen, ohne eine Trainingspipeline zu bauen. Es passt nicht zu sehr großen Offline-Jobs, bei denen ein Batch-Rabatt oder ein feinabgestimmtes Modell weniger kosten würde. Beginnen Sie mit dem Prompt oben, dem Test mit 200 Nachrichten und dem Beitrag über Golf-, ägyptischen und levantinischen Dialekt für den Aufbau des Testsets.

Häufige Fragen

Kann ein LLM Sentimentanalyse auf Arabisch durchführen?

Ja, ohne Training, indem Sie es mit Labels und Beispielen prompten. Die Qualität schwankt je nach Dialekt und Klasse: In veröffentlichten Tests liegen Modelle bei vielen Aufgaben hinter feinabgestimmten arabischen Modellen, und Dialekte schneiden schlechter ab als modernes Hocharabisch. Messen Sie es an Ihren eigenen Daten.

Klassifiziert ein LLM besser als ein feinabgestimmtes arabisches BERT-Modell?

Nicht immer. GPTAraEval fand ChatGPT über 44 Aufgaben hinweg „consistently surpassed by smaller models that have undergone finetuning on Arabic“ (Übersetzung: „durchgängig von kleineren, auf Arabisch feinabgestimmten Modellen übertroffen“). Ein LLM gewinnt, wenn Sie wenige gelabelte Beispiele haben, sich die Labels oft ändern oder Sie zu jedem Label eine Begründung brauchen.

Wie klassifiziere ich Nachrichten in Golf- und ägyptischem Arabisch?

Geben Sie dem Modell gelabelte Beispiele in jedem Dialekt, sagen Sie ihm, welche Dialekte zu erwarten sind, und bewerten Sie jeden Dialekt getrennt. Ein Modell, das bei ägyptischen Bewertungen gut abschneidet, kann Sarkasmus vom Golf trotzdem übersehen.

Wie bekomme ich jedes Mal ein konsistentes Label?

Verwenden Sie eine feste Labelliste, fordern Sie JSON mit nur diesen Werten an, setzen Sie temperature auf 0 und verwerfen Sie jede Antwort, die nicht auf der Liste steht. Senden Sie dieselben Beispiele in derselben Reihenfolge, damit die Ergebnisse reproduzierbar sind.

Wie viele Nachrichten kann ich pro Tag bei BroadNet klassifizieren?

Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Bei einer Nachricht pro Anfrage sind das höchstens 30 Nachrichten pro Minute und Schlüssel, oder das 1.440-Fache davon pro Tag. Mit 20 kurzen Nachrichten pro Anfrage steigt das auf das Zwanzigfache, innerhalb des Kontextlimits.

Hat BroadNet eine Batch API für Massenklassifikation?

Nein. BroadNet dokumentiert nur Chat Completions und Transkription. Für große Offline-Jobs bündeln Sie Nachrichten pro Anfrage oder vergleichen einen Anbieter mit Batch API; die Batch API von OpenAI wirbt mit 50 % Rabatt bei einem 24-Stunden-Fenster.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen