BroadRouter

LLM によるアラビア語テキスト分類:感情、意図、振り分け

BroadNet Inference チーム · 約 7 分で読めます · 公開日 · 更新日

LLM でアラビア語を分類するには、1 行の定義付きの短いラベルセットを決め、方言ごとにラベル付きの例を示し、ラベル 1 つと根拠の短い引用を JSON で返させ、推論を low にします。信頼する前に、人手でラベル付けした 200 件で macro F1 を測ってください。ファインチューニング済みのアラビア語モデルが汎用 LLM に勝つこともあります。

アラビア語の分類タスクはどこにでもあります。このレビューは肯定的か、この WhatsApp のメッセージは苦情か、このチケットはどのチームに回すべきか、緊急か。LLM 以前は、タスクごとにラベル付きのデータセットとファインチューニングしたモデルが必要でした。今はプロンプトから始められます。そのほうが速いのですが、10 件の例ではよく見えて湾岸方言では失敗する分類器を、うっかりリリースしてしまいがちです。この記事では、プロンプト、出力形式、テスト、コストを取り上げます。

LLM に向いている分類タスクはどれですか?

タスク ラベルの例 注意点
感情 positive、negative、neutral、mixed 中立と混在は、人とモデルの判断が最も分かれるところ
意図 complaint、question、order、cancel、other “other” は残す。無理にラベルを付けると誤りが生まれる
チケットの振り分け billing、delivery、technical、account ラベルは実際のチームに合わせる
緊急度 urgent、normal 緊急を 1 行で定義する:「顧客が今サービスを使えない」
方言または文字 MSA、Gulf、Egyptian、Levantine、Arabizi 適切な返信テンプレートへの振り分けに便利。Arabizi を参照
トピックタグ 固定リストから複数のラベル リストで返させ、長さに上限を設ける

LLM が向いているのは、ラベル付きの例が少ないとき、ラベルが頻繁に変わるとき、各ラベルに理由がほしいときです。ファインチューニングした分類器が向いているのは、ラベルが安定していて、件数が膨大で、すでに数千件のラベル付きの例があるときです。

アラビア語での LLM について、研究は何と言っていますか?

始める前に知っておく価値のある結果が 2 つあります。

  • **ファインチューニング済みのアラビア語モデルが勝つことがある。**GPTAraEval は ChatGPT を 44 のアラビア語タスクでテストし、“consistently surpassed by smaller models that have undergone finetuning on Arabic”(訳:アラビア語でファインチューニングされた、より小さなモデルに一貫して上回られた)と報告しました。著者らは、方言での結果が現代標準アラビア語より弱いことも見いだしています(Khondaker ほか)。
  • **方言を考慮したプロンプトは効果がある。**MSA、サウジ方言、モロッコのダリジャで DeepSeek-R1、Qwen2.5、LLaMA-3 の感情分析を調べた RANLP 2025 の研究は、方言を考慮したプロンプトで、特に中立と否定のクラスの精度が向上したと報告しています(Alharbi ほか)。

これらは実際に使うモデルより古いか、別のモデルなので、数字ではなく方向性として扱ってください。ただ、教訓は変わりません。自社のメッセージで、方言ごとに測定してください。

ラベルはどう設計するのですか?

モデルではなく、ここから始めます。

  1. **リストは短く。**1 つの問いにつきラベルは 4〜8 個です。感情、意図、緊急度など別々の問いは、1 つの巨大なリストではなく別々のフィールドにしてください。
  2. **各ラベルを 1 行で定義する。**何が該当しないかも書きます:「complaint:購入したものの問題を顧客が報告している。価格に関する質問は含まない。」
  3. 逃げ道のラベルを加える。other や unclear などです。
  4. 混在するケースを先に決める。「配達は遅れたけど、ドライバーは親切だった」は中立ではなく混在です。この規則を書き残してください。

テキストがアラビア語でも、ラベルの定義は英語でかまいません。ラベルの値は英語のままにしておけば、コードがアラビア語の文字列マッチングに依存せずに済みます。

アラビア語の分類にはどんなプロンプトが効きますか?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

各部分がある理由:

  • 方言の行は、モデルに何が来るかを伝えます。これが RANLP の研究で効果が確認された、方言を考慮したプロンプトです。
  • **複数の方言の例。**上の例は湾岸方言とエジプト方言を混ぜています。自社のトラフィックから実際の(匿名化した)メッセージを使ってください。
  • 根拠としての引用があれば、レビュー担当者は 1 秒でラベルを確認でき、当て推量も見つけやすくなります。
  • **reasoning_effort="low"。**Qwen3.8 27B、GLM 5.3、DeepSeek V4.1 Flash は回答の前に推論し、推論は max_tokens に含まれます。BroadNet のドキュメントは、reasoning_effort を low にするか、1,000 トークン以上の余裕を残すことを勧めています。そうしないと回答が空になる理由。
  • **未知のラベルはコードで拒否する。**モデルがリストから外れないと信じてはいけません。

より厳密な出力の取り決めについては、JSON モードと json_schemaをご覧ください。BroadNet は GLM 5.3 と Qwen3.8 27B を構造化出力対応としています。

BroadNet のどのモデルを使うべきですか?

モデル 選ぶ理由 100 万トークンあたりの入力 / 出力
Qwen3.8 27B BroadNet がアラビア語でテスト済み:湾岸方言とエジプト方言を理解。構造化出力対応 $0.175 / $2.17
BroadNet Gemma 4 VL 26B BroadNet で最も安いトークン単価。$5 の初回クレジットで使える。構造化出力対応の記載がないので、出力を厳密に検証する $0.10 / $0.22
DeepSeek V4.1 Flash 1 セッションあたり月 $60 の定額プランもある。同時に処理するのは 1 リクエスト $0.175 / $0.52
GLM 5.3 構造化出力対応。4 つの中で最も高価 $0.78 / $3.46

まず Qwen3.8 27B と Gemma 4 VL 26B でテストセットを実行してください。Gemma のスコアが十分に近ければ、短いラベルにはそちらが安い選択肢です。この表ではなく、自社の数字で選んでください。

分類器はどうテストするのですか?

  1. **実際のメッセージ 200 件に人手でラベルを付ける。**ネイティブスピーカーと一緒に、上記のラベル定義を使います。受け取るすべての方言を、それぞれ 30 件以上含めてください。
  2. 200 件すべてでモデルを実行する。
  3. **macro F1 を計算する。**ラベルごとの F1 スコアの平均なので、まれなラベルもよくあるラベルと同じ重みで数えられます。正解率だけでは、cancel を一度も出さないモデルが見えなくなります。
  4. 混同行列を読む。question と complaint が頻繁に入れ替わるなら、定義が重なっています。モデルを変える前に定義を直してください。
  5. **方言ごとに結果を分ける。**MSA に強く湾岸方言に弱いモデルもあります。
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

プロンプトやモデルを変えるたびに、同じセットを再実行してください。固定のテストセットの維持については、乗り換え前の LLM の評価方法で解説しています。

大量に分類するにはどうしますか?

分類は入力が中心です。長いシステムプロンプト、短いメッセージ、そして 1 語の回答。重要なレバーは 3 つあります。

**メッセージをリクエストごとにまとめる。**BroadNet の従量課金キーは 1 分あたり 30 リクエスト、同時実行 4 件までです。1 リクエストに 1 件なら、キー 1 つで 1 分あたり 30 件、1 日ではその 1,440 倍が上限です。短いメッセージ 20 件を番号付きリストとして送り、20 件分の結果を JSON 配列で求めれば、同じレート制限で 20 倍のメッセージを処理できます。配列の長さが一致しているか、各項目に番号が付いているかを確認してください。

**プロンプトのプレフィックスを同一に保つ。**システムプロンプトと例は、どの呼び出しでも同じです。それらを先頭に、メッセージを最後に置けば、キャッシュから読み込まれてキャッシュ入力の料金になります。たとえば Qwen3.8 27B では、100 万トークンあたり $0.175 ではなく $0.0435 です。プレフィックスがキャッシュされるプロンプトの構成方法。

**出力を短く保つ。**出力トークンは入力より高価です。ラベルと短い引用で十分で、モデルを信頼できるようになったら根拠のフィールドは外してかまいません。

アラビア語は通常、英語より 1 語あたりのトークンが多いので、アラビア語トークンカウンターでメッセージのサンプルを数え、LLM API コスト計算ツールで月額を見積もってください。

避けるべき失敗は何ですか?

  • **英語の翻訳でテストする。**翻訳文は、顧客の実際の書き方ではありません。
  • **すべての方言で 1 つのスコアにする。**方言ごとに報告してください。
  • **逃げ道のラベルがない。**すべてのメッセージを実際のラベルに押し込むと、誤りが増えます。
  • 自由記述の回答。「否定的なようです」はパースできません。JSON を求めて検証してください。
  • 皮肉を無視する。“ما شاء الله، ثالث مرة يتأخر الطلب”(さすがですね、注文が遅れるのはこれで 3 回目です)は単語ごとに見ると肯定的ですが、苦情です。このような例をプロンプトに入れてください。

LLM が分類器として不適切なのはどんなときですか?

ラベルが安定していて、すでに数千件のラベル付きの例があり、件数が数百万に達するなら、ファインチューニングしたアラビア語のエンコーダーモデルのほうが通常はメッセージあたりのコストが安く、GPTAraEval によれば、より正確な場合もあります。待てる大規模なオフライン処理では、Batch API のあるプロバイダーのほうが安いこともあります。OpenAI は、24 時間以内に完了するバッチ処理に 50% の割引をうたっています。BroadNet には Batch API がありません。よくあるパターンは、最初の数千件を LLM でラベル付けし、人手で確認し、その結果で小さなモデルを学習させるというものです。

BroadNet Inference の位置づけ

BroadNet は、アラビア語でテスト済みのモデル(Qwen3.8 27B)、初回クレジットで使える安価なモデル(Gemma 4 VL 26B)、定額のオプション(DeepSeek V4.1 Flash)を 1 つの OpenAI 互換キーで提供しており、リクエスト後にメッセージの内容を保持しません。学習パイプラインを作らずにアラビア語のメッセージを分類したいサポートチームに向いています。バッチ割引やファインチューニングしたモデルのほうが安くなる、非常に大規模なオフライン処理には向いていません。上記のプロンプト、200 件のテスト、そしてテストセットの作り方を解説した湾岸・エジプト・レバント方言の記事から始めてください。

よくある質問

LLM でアラビア語の感情分析はできますか?

はい。学習なしで、ラベルと例をプロンプトで示すだけでできます。品質は方言とクラスによって異なります。公開されたテストでは、多くのタスクで LLM はファインチューニング済みのアラビア語モデルに後れを取り、方言のスコアは現代標準アラビア語より低くなっています。自社のデータで測定してください。

分類では、LLM はファインチューニングしたアラビア語 BERT モデルより優れていますか?

必ずしもそうではありません。GPTAraEval は 44 のタスクで、ChatGPT が “consistently surpassed by smaller models that have undergone finetuning on Arabic”(訳:アラビア語でファインチューニングされた、より小さなモデルに一貫して上回られた)と報告しています。LLM が勝つのは、ラベル付きの例が少ないとき、ラベルが頻繁に変わるとき、各ラベルに理由が必要なときです。

湾岸方言やエジプト方言のメッセージはどう分類しますか?

方言ごとにラベル付きの例をモデルに示し、どの方言が来るかを伝え、方言ごとに別々に採点してください。エジプト方言のレビューでうまくいくモデルでも、湾岸方言の皮肉を見逃すことがあります。

毎回一貫したラベルを得るにはどうすればよいですか?

固定のラベルリストを使い、その値だけを含む JSON を求め、temperature を 0 にし、リストにない返答は拒否してください。同じ例を同じ順序で送れば、結果を再現できます。

BroadNet では 1 日に何件のメッセージを分類できますか?

従量課金キーは 1 分あたり 30 リクエスト、同時に 4 件までです。1 リクエストに 1 件なら、キー 1 つで最大 1 分あたり 30 件、1 日ではその 1,440 倍です。コンテキストの上限内で各リクエストに短いメッセージを 20 件入れれば、20 倍に増やせます。

BroadNet には一括分類用の Batch API がありますか?

いいえ。BroadNet のドキュメントにあるのはチャット補完と文字起こしだけです。大規模なオフライン処理では、メッセージをリクエストごとにまとめるか、Batch API のあるプロバイダーと比較してください。OpenAI の Batch API は 24 時間の処理期間で 50% 割引をうたっています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く