BroadRouter

Arabische Texte mit LLM zusammenfassen: Prompts, Länge, Bewertung

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Nennen Sie im Prompt das Register (meist modernes Hocharabisch, auch bei Dialekt-Input) und eine Wortspanne. Prüfen Sie dann im Code: Wörter zählen, jede Zahl der Zusammenfassung im Quelltext bestätigen und einmal mit benanntem Problem wiederholen. Bewerten Sie mit einem ROUGE-Tokenizer für Arabisch plus menschlicher Prüfung; das Standard-rouge-score liefert für Arabisch 0.

Einen arabischen Text mit einem LLM zusammenzufassen, kostet eine Anfrage. Zusammenfassungen, die Sie ausliefern können, verlangen drei Entscheidungen, die Ihnen die Anfrage nicht abnimmt: in welchem Register geschrieben wird, wie lang die Zusammenfassung sein muss und woran Sie erkennen, dass sie stimmt. Dieser Beitrag behandelt geschriebenen Text: Artikel, Berichte, Tickets und lange Nachrichtenverläufe. Für gesprochene Besprechungen ergänzt die Pipeline für arabische Besprechungsprotokolle den Transkriptionsschritt und das abschnittsweise Zusammenführen.

Was sollte ein Prompt für arabische Zusammenfassungen enthalten?

Fünf Zeilen tragen den Großteil des Ergebnisses:

  1. Sprache und Register. „Modernes Hocharabisch“ (الفصحى) oder ein benannter Dialekt. Ohne diese Angabe antwortet ein Modell, das ägyptischen oder Golf-Input zusammenfasst, womöglich in einer Mischung.
  2. Eine Wortspanne. „40 bis 60 Wörter“. Spannen sind leichter zu treffen als exakte Zahlen.
  3. Fakten wie geschrieben. Zahlen, Daten und Namen aus dem Text übernommen, nicht gerundet oder umgerechnet.
  4. Nichts Neues. Kein Hintergrundwissen, das nicht im Text steht.
  5. Form. Ein Absatz, drei Aufzählungspunkte oder JSON mit festen Feldern.

Die Anweisungen können auf Arabisch oder Englisch sein; nennen Sie in jedem Fall Ausgabesprache und Register ausdrücklich. Prompt Engineering für Arabisch behandelt Register, Ziffern und Text in gemischter Schrift ausführlicher. Das ist der Prompt, den der Code unten verwendet:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Wie fasst man Dialekttext zusammen?

Die meisten geschäftlichen Texte auf Arabisch sind kein MSA: Kundenbewertungen, WhatsApp-Verläufe und Social-Media-Beiträge sind im Dialekt geschrieben, oft gemischt mit Englisch oder Arabizi. Drei Entscheidungen helfen:

  • Standardmäßig in MSA zusammenfassen. Es ist regionsübergreifend neutral und leichter zu durchsuchen. Geht die Zusammenfassung an denselben Kunden zurück, passen Sie sich stattdessen seinem Dialekt an.
  • Wichtige Zitate wörtlich behalten. Fordern Sie ein kurzes Zitat im Originalwortlaut an, wenn der Ton zählt, etwa bei einer Beschwerde. Eine Umschreibung von Dialekt in MSA kann sie abschwächen.
  • Mit Ihren Dialekten testen. Das Dialektverständnis unterscheidet sich zwischen Modellen; siehe wie LLMs mit Golf- und ägyptischem Arabisch umgehen.

Öffentliche Daten nehmen Ihnen diese Tests nicht ab. Die großen arabischen Zusammenfassungsdatensätze sind MSA-Nachrichten, und wir haben keinen öffentlichen Benchmark für Golf- oder ägyptische Zusammenfassungen gefunden, auf den wir verweisen könnten.

Wie steuert man die Länge der Zusammenfassung?

Fordern Sie in Wörtern an und messen Sie in Wörtern. Vertrauen Sie nicht der eigenen Zählung des Modells und verwenden Sie kein Token-Budget als Einheit: Die Tokens pro arabischem Wort unterscheiden sich von Modell zu Modell. Wir haben einen arabischen Nachrichtenabsatz mit 96 Wörtern mit dem offiziellen Tokenizer von Qwen3.8 27B auf 166 Tokens gemessen, seine Zusammenfassung mit 58 Wörtern auf 114 Tokens. Über die Tokenizer der vier Chat-Modelle von BroadNet hinweg, gezählt mit den Tokenizer-Dateien des arabischen Token-Zählers, lag derselbe Absatz zwischen 166 und 224 Tokens. Tokens pro Wort auf Arabisch enthält die größere Messung.

Das Trennen an Leerzeichen ist für die meisten Zwecke die richtige Zählung, weil es dem entspricht, was Leser sehen. Arabisch hängt و, ب, ل und ال an das Wort an; eine Zusammenfassung mit 50 arabischen Wörtern transportiert also mehr Inhalt als 50 englische Wörter. Legen Sie Ihre Spanne anhand arabischer Beispiele fest, die Ihnen gefallen, nicht anhand eines englischen Zielwerts.

Zwei weitere Regeln zur Länge:

  • max_tokens steuert nicht die Länge. Es schneidet die Antwort mitten im Satz ab. Setzen Sie den Wert deutlich über die Größe der Zusammenfassung, besonders bei Reasoning-Modellen: Laut den Docs von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und dieses Reasoning zählt zu max_tokens. Siehe leere Antworten von Reasoning-Modellen.
  • Einmal wiederholen, mit der Zahl. „Ihre Zusammenfassung hat 17 Wörter; verlangt waren 40 bis 60“ behebt mehr, als die Anweisung zu wiederholen.

Wie erkennt man erfundene Details?

Abstraktive Zusammenfassungsmodelle erfinden Dinge. Maynez et al. (ACL 2020) fanden „substantial amounts of hallucinated content“ (Übersetzung: „erhebliche Mengen halluzinierter Inhalte“) in allen Modellzusammenfassungen, die ihre Annotatoren prüften; das war vor den heutigen LLMs, aber kein Modell ist dagegen immun. Bedeutung lässt sich im Code nicht günstig prüfen, Zahlen aber schon: Jede Zahl in der Zusammenfassung sollte im Quelltext vorkommen. Bilden Sie ostarabische Ziffern (٠–٩) und persische Ziffern (۰–۹) zuerst auf 0–9 ab, sonst sehen ١٢ und 12 verschieden aus.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Wir haben das gegen einen lokalen Mock-Server getestet (kein Aufruf der echten API), mit einem synthetischen Artikel von 96 Wörtern über einen städtischen Busplan. Die erste Antwort des Mocks hatte 17 Wörter und nannte ٣٠٠ Busse, wo der Artikel ٢٤٠ nannte. check meldete beide Probleme: die gemessene Länge und „Zahlen, die nicht im Text stehen: 300“. Die zweite, korrigierte Antwort bestand mit 58 Wörtern, also gab die Funktion sie mit attempts: 2 zurück.

Die Zahlenprüfung übersieht einiges: einen falschen Namen, eine ins Gegenteil verkehrte Entscheidung, eine Behauptung ohne Zahl. Sie ist ein Filter, kein Urteil. Für Namen verwenden Sie die Span-Prüfung aus der arabischen Named Entity Extraction wieder: Entitäten aus der Zusammenfassung extrahieren und bestätigen, dass jede im Quelltext vorkommt.

Wie fasst man lange arabische Dokumente zusammen?

Passt der Text mit genügend Reserve ins Kontextfenster, senden Sie ihn vollständig. Qwen3.8 27B nimmt 262.144 Tokens pro Anfrage an und GLM 5.3 1.048.576, Prompt und Antwort zusammen; Gemma 4 VL 26B nimmt 32.768. Lange Eingaben haben allerdings eine bekannte Schwäche: Modelle nutzen Fakten aus der Mitte eines langen Kontexts weniger zuverlässig (Lost in the Middle). Bei einem langen Bericht fassen Sie jeden Abschnitt zusammen, dann die Zusammenfassungen, und behalten die Abschnittsüberschriften im letzten Prompt. Der Beitrag über Besprechungen zeigt den Zusammenführungsschritt im Code; Long Context vs. RAG behandelt, wann Sie stattdessen Retrieval einsetzen.

Wie bewertet man arabische Zusammenfassungen?

Arbeiten Sie mit drei Ebenen: einem automatischen Überschneidungswert, um Regressionen zu erkennen, einem semantischen Wert als zweite Meinung und Menschen für die Entscheidung.

ROUGE, mit dem richtigen Tokenizer. Googles Paket rouge-score (Version 0.1.2, am 16. November 2026 weiterhin die aktuelle Version auf PyPI) schreibt Text klein und ersetzt jedes Zeichen außerhalb von a–z und 0–9 durch ein Leerzeichen. Arabisch verschwindet. Wir haben es geprüft:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Dieselben zwei Sätze erreichen 0, 0,6 oder 0,8, allein abhängig von der Tokenisierung. Das ist die eigentliche Lehre: Die arabische Morphologie (للنقل gegenüber النقل, بإضافة gegenüber تضيف) bewegt ROUGE stark, ein Wert bedeutet also nichts ohne seinen Tokenizer. Die XL-Sum-Autoren veröffentlichen einen mehrsprachigen ROUGE-Fork mit sprachspezifischem Stemming, auch für Arabisch; verwenden Sie diesen oder Ihren eigenen Tokenizer und halten Sie ihn über alle verglichenen Läufe hinweg fest.

BERTScore vergleicht Bedeutung über Embeddings und toleriert daher Umschreibungen. Für andere Sprachen als Englisch und Chinesisch ist das Standardmodell bert-base-multilingual-cased. Behandeln Sie den Wert als zweites Signal, nicht als Ersatz fürs Lesen.

Menschen, mit einem Bewertungsschema. Lassen Sie eine arabischsprachige Person 50 bis 100 Zusammenfassungen anhand von drei Fragen bewerten: Fehlt etwas Wichtiges, steht etwas darin, das die Quelle nicht sagt, und stimmt das Register? Ein LLM als Richter kann bei Volumen vorsortieren, sobald seine Werte auf einer Stichprobe mit Ihren Lesern übereinstimmen. Ein LLM vor dem Wechsel bewerten beschreibt, wie Sie dieses Set aufbauen.

Öffentliche Referenzdaten:

Datensatz Inhalt Hinweise
XL-Sum Arabisch 46.897 Paare aus Artikel und Zusammenfassung von BBC Arabic (37.519 / 4.689 / 4.689) CC BY-NC-SA 4.0: nur nicht-kommerzielle Forschung
EASC 153 Artikel mit je fünf extraktiven Zusammenfassungen von Menschen Klein; Wikipedia und zwei Zeitungen
LANS 8,4 Millionen Artikel mit Zusammenfassungen aus 22 arabischen Zeitungen, 1999 bis 2019 Zusammenfassungen stammen aus Metadaten der Websites

Alle drei sind MSA-Nachrichten. Ihre Support-Tickets und Berichte sind das nicht; der Test, der zählt, ist also eine Stichprobe Ihrer eigenen Texte, von einem Menschen zusammengefasst.

Welches BroadNet-Modell sollten Sie verwenden, und was kostet es?

Für einen Pilot läuft Gemma 4 VL 26B mit dem Startguthaben von $5, zu $0.10 Input und $0.22 Output pro 1 Mio. Tokens; sein Fenster von 32.768 Tokens fasst die meisten einzelnen Artikel. Qwen3.8 27B, das BroadNet nach eigenen Angaben auf flüssiges arabisches Schreiben und das Verständnis von Golf- und ägyptischem Dialekt getestet hat, kostet nach einer Aufladung $0.175 Input und $2.17 Output. Nehmen Sie GLM 5.3, wenn ein einzelnes Dokument länger ist als das Fenster von Qwen.

Die Rechnung für 10.000 Artikel mit je 1.000 Tokens und Zusammenfassungen mit 150 Tokens: 10 Millionen Input-Tokens und 1,5 Millionen Output-Tokens, bei Qwen3.8 27B also 10 × $0.175 plus 1,5 × $2.17. Rechnen Sie Reasoning-Tokens hinzu, die als Output abgerechnet werden, sowie etwaige Wiederholungen; messen Sie beides an einer Stichprobe über den usage-Block. Ist der Prompt für jeden Artikel gleich, stellen Sie ihn an den Anfang, damit er zum Preis für gecachten Input abgerechnet werden kann.

Wo BroadNet Inference einzuordnen ist

BroadRouter ist die eigene Website von BroadNet. BroadNet Inference bedient den Zusammenfassungsschritt über eine OpenAI-kompatible API, sodass der Code oben mit dem OpenAI Python SDK läuft. Laut seinen Docs werden Prompts und Antworten nach der Anfrage nicht gespeichert. Es veröffentlicht keinen eigenen Benchmark für arabische Zusammenfassungen, und nichts hier misst die Qualität von Zusammenfassungen auf seinen Modellen; führen Sie die Prüfungen oben mit Ihren eigenen Texten durch. Für gesprochenen Input kombinieren Sie es mit BroadNet Transcribe Arabic wie im Beitrag über Besprechungsprotokolle.

Häufige Fragen

Kann ein LLM arabische Texte gut zusammenfassen?

Ja, aber flüssig heißt nicht korrekt. Prüfen Sie Längen und Zahlen im Code und lassen Sie eine arabischsprachige Person eine Stichprobe auf fehlende Punkte und erfundene Details bewerten, bevor Sie sich darauf verlassen.

Soll die Zusammenfassung eines Dialekttextes im Dialekt oder in MSA sein?

Meist in MSA, weil es neutral wirkt und regionsübergreifend durchsuchbar ist. Behalten Sie kurze Zitate im Originaldialekt, wenn der Wortlaut zählt, etwa bei einer Beschwerde. Sagen Sie im Prompt, was Sie wollen; sonst schwanken Modelle zwischen beidem.

Warum liefert ROUGE für meine arabischen Zusammenfassungen 0?

Das verbreitete Python-Paket rouge-score ersetzt standardmäßig alle Zeichen außerhalb von a–z und 0–9 durch Leerzeichen, sodass arabischer Text keine Tokens ergibt. Übergeben Sie einen eigenen Tokenizer oder nutzen Sie den mehrsprachigen ROUGE-Fork der XL-Sum-Autoren.

Wie steuere ich die Länge einer arabischen Zusammenfassung?

Fordern Sie eine Wortspanne an, keine Token-Zahl, und messen Sie die Antwort, indem Sie an Leerzeichen trennen. Verfehlt sie die Spanne, senden Sie einmal erneut mit der gemessenen Länge. Bedenken Sie, dass arabische Wörter oft angehängte Präfixe tragen: Eine Zusammenfassung mit 50 arabischen Wörtern enthält mehr Inhalt als 50 englische Wörter.

Mit welchem Datensatz kann ich arabische Zusammenfassungen testen?

XL-Sum enthält 46.897 arabische Paare aus BBC-Artikel und Zusammenfassung (nicht-kommerzielle Lizenz). EASC enthält 153 Artikel mit je fünf extraktiven Zusammenfassungen von Menschen. Beides sind MSA-Nachrichten; ergänzen Sie also eine Stichprobe eigener Texte, besonders im Dialekt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen