BroadRouter

LLM でアラビア語テキストを要約する:プロンプト、長さ、評価

BroadNet Inference チーム · 約 7 分で読めます · 公開日 · 更新日

プロンプトで文体(方言の入力でも通常は現代標準アラビア語)と語数の範囲を指定します。そのうえでコードで語数を数え、要約中のすべての数字が原文にあるか確認し、問題を伝えて 1 回だけ再試行します。評価はアラビア語対応の ROUGE トークナイザーと人のレビューで行います。既定の rouge-score はアラビア語に 0 点を付けます。

LLM でアラビア語のテキストを要約するのは、リクエスト 1 回で済みます。ただし、出荷できる要約を得るには、リクエストが代わりに決めてくれない 3 つの判断が必要です。どの文体で書くか、要約をどれくらいの長さにするか、そして正しいとどう判断するか、です。この記事では、記事、レポート、チケット、長いメッセージのスレッドといった書き言葉を扱います。話し言葉の会議については、アラビア語の議事録パイプラインで文字起こしのステップとセクションごとの統合を追加しています。

アラビア語要約のプロンプトには何を書くべきですか?

結果の大部分は 5 行で決まります。

  1. 言語と文体。「現代標準アラビア語」(الفصحى)か、方言名を指定します。指定しないと、エジプト方言や湾岸方言の入力を要約するモデルが、混ざった文体で答えることがあります。
  2. 語数の範囲。「40〜60 語」。正確な語数より範囲のほうが達成しやすくなります。
  3. **事実は原文どおり。**数字、日付、名前は本文からそのまま写し、丸めたり換算したりしません。
  4. **新しい情報を加えない。**本文にない背景は書きません。
  5. **形式。**1 段落、箇条書き 3 点、または固定フィールドの JSON。

指示はアラビア語でも英語でもかまいません。どちらの場合も、出力の言語と文体を明示してください。アラビア語のプロンプトエンジニアリングでは、文体、数字の表記、文字の混在をさらに詳しく扱っています。以下のコードで使うプロンプトはこちらです。

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

方言のテキストはどう要約しますか?

アラビア語のビジネステキストの多くは MSA ではありません。顧客レビュー、WhatsApp のスレッド、SNS の投稿は方言で書かれ、英語や Arabizi が混ざることもよくあります。次の 3 つの選択が役立ちます。

  • **既定では MSA で要約する。**地域を問わず中立で、検索もしやすくなります。要約を同じ顧客に返す場合は、相手の方言に合わせます。
  • **重要な引用は原文のまま残す。**苦情などトーンが重要な場合は、元の言い回しでの短い引用を 1 つ求めます。方言を MSA に言い換えると、トーンが和らいでしまうことがあります。
  • **自社の方言でテストする。**方言の理解度はモデルによって異なります。LLM は湾岸アラビア語とエジプトアラビア語にどう対応するかを参照してください。

公開データはこのテストを代わりにやってくれません。大規模なアラビア語要約データセットは MSA のニュースで、紹介できる公開の湾岸方言やエジプト方言の要約ベンチマークは見つかりませんでした。

要約の長さはどう制御しますか?

語数で指定し、語数で測ります。モデル自身の数え方は信用せず、トークン予算を単位にもしないでください。アラビア語 1 語あたりのトークン数はモデルによって異なります。Qwen3.8 27B の公式トークナイザーで測ると、96 語のアラビア語ニュース段落は 166 トークン、その 58 語の要約は 114 トークンでした。BroadNet の 4 つのチャットモデルのトークナイザーで、アラビア語トークンカウンターのトークナイザーファイルを使って数えると、同じ段落が 166〜224 トークンの幅になりました。アラビア語の 1 語あたりのトークン数には、より大規模な測定があります。

ほとんどの用途では、空白で区切って数えるのが正しい方法です。読者が目にするのはその単位だからです。アラビア語では و、ب、ل、ال が単語に付くため、50 語のアラビア語要約には英語 50 語より多くの内容が入ります。範囲は英語の目標から決めるのではなく、良いと思うアラビア語の例から決めてください。

長さについてのルールがあと 2 つあります。

  • **max_tokens は長さの制御ではありません。**文の途中で返答を打ち切るだけです。要約のサイズよりかなり大きく設定してください。推論モデルでは特に重要です。BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論は max_tokens に含まれます。推論モデルの空の応答を参照してください。
  • 数字を添えて 1 回再試行する。「要約は 17 語です。40〜60 語でお願いしました」と伝えるほうが、指示を繰り返すより効果があります。

捏造された詳細はどう見つけますか?

生成型の要約は内容を捏造します。Maynez ほか(ACL 2020)は、アノテーターがレビューしたすべてのモデル要約に “substantial amounts of hallucinated content”(訳:相当量のハルシネーション)を見つけました。現在の LLM 以前の研究ですが、無縁のモデルはありません。意味をコードで安くチェックすることはできませんが、数字ならチェックできます。要約中のすべての数字は原文に出てくるはずです。先に東アラビア数字(٠–٩)とペルシア数字(۰–۹)を 0–9 に変換してください。そうしないと ١٢ と 12 が別物に見えます。

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

これをローカルのモックサーバー(実際の API 呼び出しなし)で、市バス計画についての 96 語の合成記事を使ってテストしました。モックの最初の返答は 17 語で、記事では ٢٤٠ 台のバスが ٣٠٠ 台になっていました。check は両方の問題を返しました。実測の長さと、「本文にない数字:300」です。修正された 2 回目の返答は 58 語で合格し、関数は attempts: 2 でそれを返しました。

数字のチェックで見逃すものもあります。間違った名前、逆になった決定、数字を含まない主張です。これはフィルターであり、判定ではありません。名前については、アラビア語の固有表現抽出のスパンチェックを再利用してください。要約からエンティティを抽出し、それぞれが原文にあることを確認します。

長いアラビア語文書はどう要約しますか?

テキストがコンテキストウィンドウに余裕を持って収まるなら、まるごと送ります。Qwen3.8 27B は 1 リクエストあたり 262,144 トークン、GLM 5.3 は 1,048,576 トークンを扱え、いずれもプロンプトと回答の合計です。Gemma 4 VL 26B は 32,768 トークンです。ただし、長い入力には既知の弱点があります。長いコンテキストの中ほどにある事実は、モデルが使う確実性が下がります(lost in the middle)。長いレポートでは、セクションごとに要約してから要約の要約を作り、最終プロンプトにはセクション見出しを残してください。議事録の記事では統合ステップをコードで示しています。代わりに検索を使うべきタイミングはロングコンテキストと RAG の比較で扱っています。

アラビア語の要約はどう評価しますか?

3 つの層を使います。退行を検出する自動の重なりスコア、セカンドオピニオンとしての意味的スコア、そして判断を下す人です。

**ROUGE は正しいトークナイザーで。**Google の rouge-score パッケージ(バージョン 0.1.2、2026 年 11 月 16 日時点でも PyPI の現行リリース)は、テキストを小文字化し、a–z と 0–9 以外のすべての文字を空白に置き換えます。アラビア語は消えてしまいます。確認しました。

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

同じ 2 文が、トークン化の違いだけで 0、0.6、0.8 になります。これが本当の教訓です。アラビア語の形態(للنقل と النقل、بإضافة と تضيف)は ROUGE を大きく動かすため、トークナイザーを伴わないスコアには意味がありません。XL-Sum の著者は、アラビア語を含む言語別ステミング付きの多言語 ROUGE フォークを公開しています。それか独自のトークナイザーを使い、比較するすべての実行で固定してください。

BERTScore は埋め込みで意味を比較するため、言い換えに寛容です。英語と中国語以外の言語では、既定のモデルは bert-base-multilingual-cased です。読むことの代わりではなく、2 つ目のシグナルとして扱ってください。

**人による評価は、採点基準とともに。**アラビア語の読める人に、50〜100 件の要約を 3 つの質問で採点してもらいます。重要な点が抜けていないか、原文にないことが書かれていないか、文体は正しいか。サンプルで人の採点と一致するようになれば、LLM による評価(LLM-as-a-judge)で大量の要約を事前選別できます。そのセットの作り方は乗り換え前の LLM 評価で扱っています。

公開されている参照データは次のとおりです。

データセット 内容 注意点
XL-Sum アラビア語 BBC アラビア語の記事と要約のペア 46,897 組(37,519 / 4,689 / 4,689) CC BY-NC-SA 4.0:非商用の研究のみ
EASC 153 記事、各記事に人手の抽出型要約 5 つ 小規模。Wikipedia と新聞 2 紙
LANS アラブの新聞 22 紙の要約付き記事 840 万件、1999〜2019 年 要約はサイトのメタデータ由来

3 つともすべて MSA のニュースです。サポートチケットやレポートはそうではないので、自社テキストのサンプルを人が要約したものこそが意味のあるテストです。

BroadNet のどのモデルを使い、費用はいくらですか?

パイロットには、Gemma 4 VL 26B が $5 の初回クレジットで使え、100 万トークンあたり入力 $0.10、出力 $0.22 です。32,768 トークンのウィンドウは、ほとんどの単一記事に収まります。Qwen3.8 27B は、BroadNet が流暢なアラビア語の文章作成と湾岸・エジプト方言の理解をテストしたと報告しているモデルで、チャージ後に入力 $0.175、出力 $2.17 です。1 つの文書が Qwen のウィンドウより長い場合は GLM 5.3 を使います。

1,000 トークンの記事 10,000 本を 150 トークンの要約にする場合の計算です。入力 1,000 万トークン、出力 150 万トークンなので、Qwen3.8 27B では 10 × $0.175 に 1.5 × $2.17 を足した額になります。さらに、出力として課金される推論トークンと再試行が加わります。どちらも usage ブロックからサンプルで測定してください。プロンプトがすべての記事で同じなら、先頭に置けばキャッシュ入力の料金で課金されます。

BroadNet Inference の位置づけ

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference は要約のステップを OpenAI 互換 API で提供するため、上のコードは OpenAI Python SDK でそのまま動きます。ドキュメントによると、プロンプトと回答はリクエスト後に保持されません。独自のアラビア語要約ベンチマークは公開しておらず、この記事でもそのモデルの要約品質は測定していません。自社のテキストで上のチェックを実行してください。音声入力の場合は、議事録の記事のように BroadNet Transcribe Arabic と組み合わせます。

よくある質問

LLM でアラビア語のテキストをうまく要約できますか?

できます。ただし、流暢であることと正確であることは別です。長さと数字はコードでチェックし、本番で頼る前に、アラビア語の読める人にサンプルを採点してもらい、要点の抜けや捏造がないか確認してください。

方言テキストの要約は方言と MSA のどちらで書くべきですか?

通常は MSA です。地域を問わず中立に読め、検索もしやすいからです。苦情など言い回しが重要な場合は、元の方言の短い引用を残します。どちらにするかをプロンプトで指定してください。指定しないと、モデルは両者の間で揺れます。

ROUGE がアラビア語の要約に 0 点を付けるのはなぜですか?

広く使われている Python パッケージ rouge-score は、既定で a-z と 0-9 以外の文字を空白に置き換えるため、アラビア語のテキストからトークンが 1 つも得られません。独自のトークナイザーを渡すか、XL-Sum の著者による多言語 ROUGE のフォークを使ってください。

アラビア語の要約の長さはどう制御しますか?

トークン数ではなく語数の範囲を指定し、返答を空白で区切って数えます。外れたら、実測の長さを伝えて 1 回だけ再送します。アラビア語の単語には接頭辞がよく付くため、50 語のアラビア語要約には英語 50 語より多くの内容が入ります。

アラビア語の要約のテストにはどのデータセットを使えますか?

XL-Sum には BBC アラビア語の記事と要約のペアが 46,897 組あります(非商用ライセンス)。EASC は 153 記事で、各記事に人手による抽出型要約が 5 つ付いています。どちらも MSA のニュースなので、自社のテキスト、特に方言のテキストのサンプルを加えてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く