BroadRouter

Arabizi と LLM:3 や 7 などの数字を使うラテン文字アラビア語の扱い方

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

Arabizi(Franco-Arabic とも呼ばれます)は、ラテン文字にない音を数字で表してアラビア語をラテン文字で書く表記です。3 は ع、7 は ح、2 は ء、5 は خ を表します。LLM はたいてい理解できますが、変換結果は一貫しません。判定したうえで、方言を指定してアラビア文字に音訳させ、そのアラビア語テキストを処理します。

Arabizi は Franco-Arabic や「Franco」とも呼ばれ、ラテン文字にない音を、ع を 3、ح を 7 のように数字で表して、アラビア語をラテン文字で書く表記です。LLM で扱うには、まず判定し、方言を指定してモデルにアラビア文字へ変換させ、パイプラインの残りはアラビア語テキストで実行します。

「ana 3ayez a7gez ma3ad bokra」は、エジプトではごく普通の顧客メッセージで、「أنا عايز أحجز ميعاد بكرة」(明日の予約を取りたい)という意味です。アラビア語キーボードのない携帯電話やコンピューターで広まり、今もチャットに現れます。

どの数字がどのアラビア文字を表しますか?

標準はありませんが、形が似ているアラビア文字や、ラテン文字に相当するものがないアラビア文字に数字が使われます。アラビア語チャットアルファベットの概要には、一般的な慣習が載っています。

数字 アラビア文字 例 アラビア文字表記 意味
2 ء(hamza)/ أ so2al سؤال 質問
3 ع 3arabi عربي アラビア語
3’ または 8 غ 8aly / 3’aly غالي 高い(値段)
5 または kh خ 5alas خلاص 終わり / もういい
6 ط 6ayeb طيب OK(湾岸)
7 ح 7abibi حبيبي 大切な人
9 ص 9ba7 صباح 朝(湾岸)
8 ق(一部の地域) 8alb قلب 心

地域ごとの習慣は異なります。たとえばこの概要によると、غ を 8 で表すのはレバノンだけで、サウジアラビアでは ق を 8 や 9 で表すのが一般的です。エジプトの Arabizi では、ق が声門閉鎖音として発音される場合に 2 で表すことがあります。母音は耳で聞いたとおりに書かれるため、「ma3lesh」「ma3lsh」「m3lsh」(معلش、気にしないで)はすべて同じ単語です。

Arabizi がソフトウェアにとって難しいのはなぜですか?

  • **ほぼ常に方言である。**人は話すとおりに Arabizi を書くため、方言のあらゆる難しさを一度に抱え、しかもよりどころとなるアラビア文字がありません。
  • 英語やフランス語のように見える。「bas」はアラビア語では بس(でも / だけ)ですが、英語では意味がありません。「men」は من(〜から / 誰)です。キーワード検出器や言語識別ツールは、Arabizi を英語や他のラテン文字の言語と判定しがちです。
  • **標準的な綴りがない。**完全一致の検索、意図のルール、分析が機能しません。
  • コードスイッチング。「el order bta3i lessa ma waslsh, can u check?」は、1 文の中でエジプトの Arabizi と英語が混ざっています。

ルールベースの変換器が苦労するのは、1 つのラテン文字列が多くのアラビア語の綴りに対応しうるからです。Darwish による Arabizi の判定と変換の研究などの研究システムは、音訳マイニングと言語モデリングを組み合わせて正しい単語を選び、88.7% の変換精度を報告しました。現代の LLM は、事実上それを 1 ステップで行います。

LLM は Arabizi をどの程度扱えますか?

大規模なモデルは Web や SNS のテキストで Arabizi を見ているため、よくあるフレーズはたいてい理解できます。結果はモデルや方言によって異なるので、頼る前にテストしてください。典型的な失敗パターンは次のとおりです。

  1. 英語として扱い、読み違えたメッセージに返信する。
  2. **違う方言に変換する。**たとえば、エジプト方言をトーンの変わる MSA の単語に「変換」したり、ユーザーがレバノン人なのに湾岸方言と推測したりします。
  3. **出力の文字が一貫しない。**あるメッセージには Arabizi で、次のメッセージにはアラビア文字で返信します。
  4. **名前や地名で偽の正確さを示す。**ラテン文字の綴りが曖昧な場合に起こります。

対処法は方言全般と同じです。何を想定し、何を出力すべきかをモデルに伝えてください。

LLM で Arabizi をアラビア文字に変換するには?

まず Arabizi をアラビア文字に変換し、その後パイプラインの残り(検索、ルーティング、返信)をアラビア語テキストで実行します。これでコードの経路が 1 つになり、検索や分析も機能します。

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

良い結果の例です。

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

この設計についての補足です。

  • 方言の単語を残す。“the message in Arabic script, keeping the dialect words”(訳:方言の単語を残したまま、アラビア文字でメッセージを書く)と求めることで、MSA への無言の書き換えを防ぎます。書き換えられると、ルーティングや感情分析に必要な意味が失われます。
  • **原文を残す。**監査やルールの再学習のために、変換結果の横に元のメッセージを保存します。
  • **安価な事前フィルターを使う。**単純なチェック(下の正規表現のように、単語内にラテン文字と数字 2、3、5、6、7、8、9 のいずれかがある)で、LLM の呼び出しを使う前に Arabizi の大半を拾えます。アラビア語だけ、または英語だけのメッセージは変換をスキップできます。より厳密な出力には、スキーマ付きの構造化出力を使ってください。
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

このヒントは数字を含まない Arabizi(「ana mesh fahem」、わからない)を見逃し、「a7x」のような製品コードで誤検出します。分類器ではなく、コスト削減の手段として扱ってください。本当の判断は LLM の script フィールドです。

返信にはどの文字を使うべきですか?

メッセージごとではなく、製品ごとに決めてください。

返信に使う文字 使う場面
アラビア文字(MSA または軽い方言) ほとんどの企業の既定。誰でも読める
英語 サポート言語が英語の場合、または顧客がほぼ英語を混ぜて書いた場合
Arabizi 顧客のスタイルに合わせたい若者向けブランド。ネイティブスピーカーとサンプルをレビューする

Arabizi を自動的にまねると、従うべき標準がないため、ネイティブのユーザーには奇妙に見える綴りになりがちです。まねる場合は、好みの綴りの例をモデルに与えてください。文体と文字の設定について詳しくはアラビア語のプロンプトエンジニアリングを参照してください。

Arabizi にはどのモデルを使うべきですか?

自社のチャネルから実際の Arabizi メッセージを 50〜100 件集め、それぞれの正しいアラビア文字版と意図を書き、まず意図の正解率で、次に変換の品質で候補モデルを採点してください。BroadNet は、自社のテストで Qwen3.8 27B が湾岸方言とエジプト方言を理解し、流暢なアラビア語を書いたと報告していますが、Arabizi に特化した結果は公開していないので、自社のメッセージでテストしてください。DeepSeek V4.1 Flash は出力トークン単価が安く、BroadNet Gemma 4 VL 26B は大量の事前分類ステップに使える BroadNet で最も安いモデルです。価格は料金ページにあります。ラテン文字の Arabizi とアラビア文字ではトークン化のされ方が違うため、費用を見積もる前に、いくつかのメッセージの両方の版を無料のトークンカウンターに貼り付けてください。

Arabizi はどこに現れますか?

  • **WhatsApp と SNS の DM:**主な発生源です。アラビア語 WhatsApp チャットボットの構成を参照してください。
  • **検索ボックス:**ユーザーは「7agz」(حجز、予約)と入力します。アラビア語の RAG 検索の前に、同じステップでクエリを正規化してください。
  • **言語を指定すれば、音声認識からは出てこない。**Arabizi は人が入力するものです。アラビア語の音声の書き起こしがラテン文字で返ってきた場合、リクエストに language=ar が欠けている可能性が高いです。BroadNet のドキュメントでは、指定しないとアラビア語が音訳されることがあると注意しています。WhatsApp ボイスメッセージのガイドを参照してください。

よくある質問

Arabizi と Franco-Arabic は同じものですか?

同じです。Arabizi、Franco-Arabic、Franco、アラビア語チャットアルファベットは、いずれもアラビア語をラテン文字と数字で書く同じ習慣を指します。呼び方は国によって異なり、エジプトでは「Franco」が一般的です。

チャットボットは Arabizi で返信すべきですか?

通常はすべきではありません。ブランドに合わせて、アラビア文字か英語で返信してください。若者向けのブランドには Arabizi で返信するところもありますが、綴りが自然に見えるかをネイティブスピーカーに確認してもらってください。

正規表現で Arabizi をアラビア語に変換できますか?

確実にはできません。母音は自由に省略されたり加えられたりし、同じラテン文字が文脈によって異なるアラビア文字に対応します。ルールは判定には役立ちますが、変換には言語モデルが必要です。

アラビア語のメッセージで 3 は何を意味しますか?

Arabizi では、3 は文字 ع(ayn)を表します。たとえば「3arabi」は عربي(アラビア語)です。ほかによく使われる数字は、2 が ء、5 が خ、7 が ح、9 が ص です。

文字起こしの結果がラテン文字で返ってきたのはなぜですか?

それは音声モデルによる音訳で、ユーザーが入力した Arabizi ではありません。アラビア文字で受け取るには、アラビア語の文字起こしリクエストすべてに language=ar を付けてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く