BroadRouter

アラビア語と英語の 1 語あたりのトークン数:アラビア語が高くつく理由

BroadNet Inference チーム · 約 6 分で読めます · 公開日 · 更新日

一律の数字はなく、各モデルのトークナイザー次第です。BroadRouter の実測データセットでは、同じ現代標準アラビア語のテキストに英訳の 1.31×(Qwen3.8 27B)〜1.77×(GLM 5.3)のトークンが必要で、英語の文章 1,000 語は平均で約 1,290 トークンでした。自社の比率は usage.prompt_tokens で測ってください。

LLM API でアラビア語のプロダクトを作るなら、請求は単語ではなくトークンで数えられます。そして同じメッセージでも、アラビア語で書くと英訳より多くのトークンになることがよくあります。これはコスト、コンテキストの上限、レイテンシーに影響します。この記事では、なぜそうなるのか、なぜ「1 語あたりのトークン数」が誤解を招く数字なのか、そして使うモデルで自社のコンテンツの実際の比率をどう測るかを説明します。

アラビア語はどれだけ多くのトークンを使うのですか?実測値

各モデルの実際のトークナイザーを使い、対訳テキスト(英語とアラビア語で同じ意味)で測定しました。表の全体、95% 区間、方法は無料のトークナイザー効率データセットにあります(CSV と JSON、CC BY 4.0、バージョン 4、2026-11-15 測定)。

トークナイザー アラビア語 ÷ 英語、現代標準(FLORES-200 の 2,009 文) アラビア語 ÷ 英語、湾岸方言(Tatoeba の 49 文)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

英語の文章(Wikipedia とプロジェクト・グーテンベルク)は、5 つのトークナイザーで 100 語あたり約 127〜132 トークンでした。現代標準アラビア語の比率は、両言語で同じ FLORES-200 の 2,009 文(英語版 Wikimedia の記事に由来する、フォーマルなニュース、旅行、百科事典の文章を専門家が翻訳したもの)から求めています。FLORES-200 には湾岸アラビア語がないため、湾岸方言の列は Tatoeba の短い文のペア 49 組を使っており、精度はずっと低くなります。データセットのページには、すべての数字に区間が示されています。どれも自社のトラフィックではないので、比率は計画用に使い、予算を組む前に自社のコンテンツを測定してください。アラビア語トークンカウンターは貼り付けたテキストを各トークナイザーで数え、トークンと語数の換算は双方向に換算します。

これらの比率を金額に直すには、言語別の実コストデータセットをご覧ください。実測したトークナイザーと対応付けられたすべてのモデルについて、プロバイダーごとに各言語 100 万文字あたりの料金を算出しています。トークン単価が安くても、アラビア語の請求額が安くなるとは限りません。

トークナイザーは何をするのですか?

モデルがテキストを見る前に、トークナイザーがテキストを固定の語彙から取ったトークンに分割します。最近のトークナイザーの多くは、Hugging Face のトークナイザーの概要で説明されている、バイトペアエンコーディング(BPE)、WordPiece、SentencePiece などのサブワード手法を使っています。学習データに頻出する文字列は 1 つのトークンになり、まれな文字列は、必要なら 1 バイト単位まで、より小さな断片に分割されます。

語彙は学習コーパスから学習されます。そのコーパスで多数を占める言語が、最も効率的なエンコードを得ます。モデルファミリーごとに独自のトークナイザーがあるため、DeepSeek、Qwen、GLM、Gemma のモデルは、同じアラビア語の文をかなり異なる数のトークンに分割することがあります。

アラビア語はなぜトークンが多くなりがちなのですか?

1. 学習データの偏り

多くのトークナイザーは、英語が大きく偏って多いテキストで学習されています。よく使われる英単語はそれぞれ 1 トークンになりますが、よく使われるアラビア語の単語の多くは複数の断片に分割されます。Petrov ほか(2023)は多くのトークナイザーと言語でこれを測定し、同じ内容に必要なトークン数に大きな差があること、英語が通常最も安い言語の 1 つであることを見いだしました。Ahia ほか(2023)は商用 API について同様の結論に達し、異なる言語の話者が支払う金額に直接影響することを指摘しています。

2. アラビア語の形態論

アラビア語は、接続詞、前置詞、冠詞、代名詞を単語に直接付けます。書かれた 1 語が、英語では数語に分かれる内容を担うことがあります。

アラビア語 おおよその英語
وسيكتبونها and they will write it(そして彼らはそれを書くだろう)
بالمدرسة in the school(学校で)
فقلنا so we said(それで私たちは言った)

ある組み合わせを十分に見ていないトークナイザーは、それを断片に分割しがちです。そのため、意味あたりのトークン数は妥当でも、1 語あたりのトークン数は増えます。

3. 文字の細部

ダイアクリティカルマーク(tashkeel)、tatweel(引き伸ばし文字)、alef と hamza のさまざまな字形、アラビア・インド数字は、いずれもトークナイザーがエンコードしなければならない余分な文字や異体です。アラビア文字とラテン文字が混在するテキストや、Arabizi(ラテン文字と数字で書いたアラビア語)も、予想外の分割のされ方をすることがあります。LLM による Arabizi の扱いをご覧ください。

1 語あたりのトークン数はなぜ間違った指標なのですか?

アラビア語の 1 語は英語の数語にあたることが多いため、「アラビア語は 1 語あたり N トークン」と「英語は 1 語あたり M トークン」は比較できません。より公平な問いは、同じ内容に各言語で何トークン必要かです。対訳テキスト、つまり両言語で書かれた同じメッセージを使い、トークンの合計を比べてください。請求額を変えるのはこの比率です。

OpenAI のよく引用される目安、1 トークンあたり約 4 文字、または 4 分の 3 語は、OpenAI 自身のトークナイザーでの英語について示されたものです。アラビア語にもほかのモデルファミリーにも当てはまらないので、アラビア語の予算には使わないでください。

自社の比率はどう測るのですか?

usage フィールドが正解です。請求はそれに基づいて行われます。このスクリプトは対訳テキストをモデルに送り、usage.prompt_tokens を読み取ります。チャットテンプレートの固定オーバーヘッドが短いテキストの結果をゆがめないよう、ベースラインを差し引きます。使うのは Gemma 4 VL 26B で、無料の初回クレジットで使えて推論を行わないモデルです。実際に使うモデルに置き換えてください。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

信頼できる数字を得るには:

  1. **自社の分野の実際のペアを 50〜200 組使う。**サポートメッセージ、商品説明、請求書などです。短いデモ用の文はノイズが大きくなります。
  2. **ユーザーが書く方言を使う。**湾岸、エジプト、レバントの方言のテキストは、現代標準アラビア語とは違うトークン化になることがあります。
  3. **モデルごとに実行する。**あるモデルで測った比率は、別のモデルについてはほとんど何も教えてくれません。複数のモデルから選ぶなら、同じペアをそれぞれで実行してください。トークン数と同じくらい重要な品質については、アラビア語向け LLM の選び方で解説しています。
  4. **出力も測る。**各モデルにアラビア語と英語で答えさせ、completion_tokens を比べてください。どのモデルでも出力は入力よりトークン単価が高いので、出力の比率のほうが重要なこともあります。

モデルのトークナイザーが(たとえば Hugging Face で)公開されていれば、そのトークナイザーでオフラインでトークンを数えることもできます。ただし最終的な答えは API の usage フィールドです。サーバーが適用するチャットテンプレートが含まれるからです。

結果の読み方

モデルごとの比率が出たら、よくあるパターンは 3 つです。

  • **1 に近い。**トークナイザーが自社のアラビア語をうまく扱えています。同じ内容なら、アラビア語と英語のトラフィックのコストはほぼ同じです。
  • **明らかに 1 を超える。**アラビア語のメッセージ 1 件あたりのコストが高くなります。予測とコンテキストの上限にそれを織り込み、同程度の品質で自社のアラビア語をより効率よく扱う別のモデルがないか検討してください。
  • **サンプルによって大きく異なる。**たいていは内容が混在しているしるしです。ダイアクリティカルマーク付きのテキスト、Arabizi、数字、URL、コードがアラビア語のメッセージに含まれています。サンプルを種類ごとに分け、それぞれ測定してください。

スクリプトは保存しておき、モデルを変えたときや、プロバイダーがモデルのバージョンを更新したときに再実行してください。新しいトークナイザーはすべての数を変えるからです。

コストとコンテキストにとって何を意味しますか?

コストはトークン数に比例するので、アラビア語の比率が高ければ、トラフィックのアラビア語部分の請求額は同じ倍率で増えます。BroadNet の料金では、Qwen3.8 27B のアラビア語入力は 100 万トークンあたり $0.175、出力は $2.17、Gemma 4 VL 26B ではそれぞれ $0.10 と $0.22 です。トークン単価はどの言語でも同じで、変わるのはトークン数だけです。測定した比率を月額コストの見積もり方に当てはめてください。

コンテキストの上限も同じように縮みます。Gemma 4 VL 26B は 1 リクエストあたり 32,768 トークンを受け付けますが、長いアラビア語の文書は英訳より早くそれを使い切ります。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンを受け付けます。

アラビア語のトークン数はどう減らせますか?

  • **一貫して正規化する。**tatweel を除き、タスクに不要ならダイアクリティカルマークも除きます。キャッシュが効き続けるよう、すべてのリクエストに同じ正規化を適用してください。
  • **指示を短くする。**長いシステムプロンプトは毎ターン再送されます。言葉を引き締めれば、どちらの言語でもトークンを節約できます。
  • **安定したプレフィックスをキャッシュする。**キャッシュ料金のあるモデルでは、繰り返し送るシステムプロンプトや文書のコストがずっと安くなります。キャッシュの仕組み。
  • 簡潔な回答を求める。「2 文で答えてください」は、どんなトークナイザーの工夫よりも節約になります。

テキストではなくアラビア語の音声の場合、文字起こしはトークン単位ではなく音声 1 分単位の料金なので、その部分の請求額にトークン化は影響しません。アラビア語の音声認識のページをご覧ください。

よくある質問

アラビア語の 1 語は何トークンですか?

モデルによります。BroadRouter のトークナイザーデータセットでは、5 つのトークナイザーで現代標準アラビア語は 100 語あたり 183.0(Qwen3.8 27B)〜243.9(GLM 5.3)トークンでした。単語単位ではなく対訳テキストで比較し、使うモデルで測定してください。

英語 1,000 語は何トークンですか?

BroadRouter の実測データセットの 5 つのトークナイザーで、平易な英語の文章は約 1,269〜1,320 トークン(平均 1,290)でした。技術文書、コード、ほかの言語ではもっと多くなるので、自社のテキストで数えてください。

ダイアクリティカルマークを除くとトークンは減りますか?

通常は減ります。ダイアクリティカルマークは、トークナイザーがエンコードしなければならない余分な文字だからです。タスクに不要な場合だけ除いてください。コーラン、詩、発音では意味を担っています。

「1 トークン 4 文字」の目安はアラビア語にも当てはまりますか?

いいえ。OpenAI はこの目安を自社のトークナイザーでの英語テキストについて示しています。アラビア語にも、ほかのモデルのトークナイザーにも当てはまりません。

アラビア語のトークンは 1 トークンあたりの料金が高いのですか?

いいえ。どの言語をエンコードしていても、1 トークンの料金は同じです。アラビア語が高くなるのは、同じ内容がより多くのトークンに分割される場合だけです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く