---
title: "アラビア語と英語の 1 語あたりトークン数と測り方 | BroadRouter"
description: "同じ意味でもアラビア語が英語より多くの LLM トークンを使いがちな理由、1 語あたりのトークン数が誤解を招く理由、usage フィールドから自社の比率を測るスクリプトを紹介します。"
url: https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/tokens-per-word-arabic-english/)（2026-11-16 更新）。

# アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由

BroadNet Inference チーム · 約 6 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-16

一律の数字はなく、各モデルのトークナイザー次第です。BroadRouter の実測データセットでは、同じ現代標準アラビア語のテキストに英訳の 1.31×（Qwen3.8 27B）〜1.77×（GLM 5.3）のトークンが必要で、英語の文章 1,000 語は平均で約 1,290 トークンでした。自社の比率は usage.prompt\_tokens で測ってください。

## 要点

-   1 語あたりのトークン数は、言語だけでなく各モデルのトークナイザーの性質です。
-   多くのトークナイザーを対象にした研究では、同じ内容でもアラビア語のほうが英語より多くのトークンを使うことがよくあります。
-   1 語あたりのトークン数ではなく、対訳テキスト（両言語で同じ意味）を比べてください。アラビア語の 1 語が英語の数語にあたることがあります。
-   実際に使うモデルで usage.prompt\_tokens を測り、メッセージのオーバーヘッド分のベースラインを差し引いてください。
-   ダイアクリティカルマーク、tatweel、文字の混在でトークン数は変わります。入力は一貫して正規化してください。

**このページの内容**

1.  アラビア語はどれだけ多くのトークンを使うのですか？実測値
2.  トークナイザーは何をするのですか？
3.  アラビア語はなぜトークンが多くなりがちなのですか？
4.  1 語あたりのトークン数はなぜ間違った指標なのですか？
5.  自社の比率はどう測るのですか？
6.  コストとコンテキストにとって何を意味しますか？
7.  アラビア語のトークン数はどう減らせますか？

LLM API でアラビア語のプロダクトを作るなら、請求は単語ではなくトークンで数えられます。そして同じメッセージでも、アラビア語で書くと英訳より多くのトークンになることがよくあります。これはコスト、コンテキストの上限、レイテンシーに影響します。この記事では、なぜそうなるのか、なぜ「1 語あたりのトークン数」が誤解を招く数字なのか、そして使うモデルで自社のコンテンツの実際の比率をどう測るかを説明します。

## アラビア語はどれだけ多くのトークンを使うのですか？実測値

各モデルの実際のトークナイザーを使い、対訳テキスト（英語とアラビア語で同じ意味）で測定しました。表の全体、95% 区間、方法は無料の[トークナイザー効率データセット](https://broadrouter.com/data/tokenizer-efficiency/)にあります（CSV と JSON、CC BY 4.0、バージョン 4、2026-11-15 測定）。

| トークナイザー | アラビア語 ÷ 英語、現代標準（FLORES-200 の 2,009 文） | アラビア語 ÷ 英語、湾岸方言（Tatoeba の 49 文） |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

英語の文章（Wikipedia とプロジェクト・グーテンベルク）は、5 つのトークナイザーで 100 語あたり約 127〜132 トークンでした。現代標準アラビア語の比率は、両言語で同じ FLORES-200 の 2,009 文（英語版 Wikimedia の記事に由来する、フォーマルなニュース、旅行、百科事典の文章を専門家が翻訳したもの）から求めています。FLORES-200 には湾岸アラビア語がないため、湾岸方言の列は Tatoeba の短い文のペア 49 組を使っており、精度はずっと低くなります。データセットのページには、すべての数字に区間が示されています。どれも自社のトラフィックではないので、比率は計画用に使い、予算を組む前に自社のコンテンツを測定してください。[アラビア語トークンカウンター](https://broadrouter.com/tools/arabic-token-counter/)は貼り付けたテキストを各トークナイザーで数え、[トークンと語数の換算](https://broadrouter.com/tools/tokens-to-words/)は双方向に換算します。

これらの比率を金額に直すには、[言語別の実コストデータセット](https://broadrouter.com/data/real-cost-by-language/)をご覧ください。実測したトークナイザーと対応付けられたすべてのモデルについて、プロバイダーごとに各言語 100 万文字あたりの料金を算出しています。トークン単価が安くても、アラビア語の請求額が安くなるとは限りません。

## トークナイザーは何をするのですか？

モデルがテキストを見る前に、トークナイザーがテキストを固定の語彙から取ったトークンに分割します。最近のトークナイザーの多くは、Hugging Face の[トークナイザーの概要](https://huggingface.co/docs/transformers/tokenizer_summary)で説明されている、バイトペアエンコーディング（BPE）、WordPiece、SentencePiece などのサブワード手法を使っています。学習データに頻出する文字列は 1 つのトークンになり、まれな文字列は、必要なら 1 バイト単位まで、より小さな断片に分割されます。

語彙は学習コーパスから学習されます。そのコーパスで多数を占める言語が、最も効率的なエンコードを得ます。モデルファミリーごとに独自のトークナイザーがあるため、DeepSeek、Qwen、GLM、Gemma のモデルは、同じアラビア語の文をかなり異なる数のトークンに分割することがあります。

## アラビア語はなぜトークンが多くなりがちなのですか？

### 1\. 学習データの偏り

多くのトークナイザーは、英語が大きく偏って多いテキストで学習されています。よく使われる英単語はそれぞれ 1 トークンになりますが、よく使われるアラビア語の単語の多くは複数の断片に分割されます。Petrov ほか（2023）は多くのトークナイザーと言語でこれを測定し、同じ内容に必要なトークン数に大きな差があること、英語が通常最も安い言語の 1 つであることを見いだしました。Ahia ほか（2023）は商用 API について同様の結論に達し、異なる言語の話者が支払う金額に直接影響することを指摘しています。

### 2\. アラビア語の形態論

アラビア語は、接続詞、前置詞、冠詞、代名詞を単語に直接付けます。書かれた 1 語が、英語では数語に分かれる内容を担うことがあります。

| アラビア語 | おおよその英語 |
| --- | --- |
| وسيكتبونها | and they will write it（そして彼らはそれを書くだろう） |
| بالمدرسة | in the school（学校で） |
| فقلنا | so we said（それで私たちは言った） |

ある組み合わせを十分に見ていないトークナイザーは、それを断片に分割しがちです。そのため、**意味**あたりのトークン数は妥当でも、**1 語**あたりのトークン数は増えます。

### 3\. 文字の細部

ダイアクリティカルマーク（tashkeel）、tatweel（引き伸ばし文字）、alef と hamza のさまざまな字形、アラビア・インド数字は、いずれもトークナイザーがエンコードしなければならない余分な文字や異体です。アラビア文字とラテン文字が混在するテキストや、Arabizi（ラテン文字と数字で書いたアラビア語）も、予想外の分割のされ方をすることがあります。[LLM による Arabizi の扱い](https://broadrouter.com/ja/blog/arabizi-llm-handling/)をご覧ください。

## 1 語あたりのトークン数はなぜ間違った指標なのですか？

アラビア語の 1 語は英語の数語にあたることが多いため、「アラビア語は 1 語あたり N トークン」と「英語は 1 語あたり M トークン」は比較できません。より公平な問いは、**同じ内容に各言語で何トークン必要か**です。対訳テキスト、つまり両言語で書かれた同じメッセージを使い、トークンの合計を比べてください。請求額を変えるのはこの比率です。

OpenAI のよく引用される目安、1 トークンあたり約 4 文字、または 4 分の 3 語は、OpenAI 自身のトークナイザーでの英語について示されたものです。アラビア語にもほかのモデルファミリーにも当てはまらないので、アラビア語の予算には使わないでください。

## 自社の比率はどう測るのですか？

usage フィールドが正解です。請求はそれに基づいて行われます。このスクリプトは対訳テキストをモデルに送り、`usage.prompt_tokens` を読み取ります。チャットテンプレートの固定オーバーヘッドが短いテキストの結果をゆがめないよう、ベースラインを差し引きます。使うのは [Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) で、無料の初回クレジットで使えて推論を行わないモデルです。実際に使うモデルに置き換えてください。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

信頼できる数字を得るには：

1.  \*\*自社の分野の実際のペアを 50〜200 組使う。\*\*サポートメッセージ、商品説明、請求書などです。短いデモ用の文はノイズが大きくなります。
2.  \*\*ユーザーが書く方言を使う。\*\*湾岸、エジプト、レバントの方言のテキストは、現代標準アラビア語とは違うトークン化になることがあります。
3.  \*\*モデルごとに実行する。\*\*あるモデルで測った比率は、別のモデルについてはほとんど何も教えてくれません。複数のモデルから選ぶなら、同じペアをそれぞれで実行してください。トークン数と同じくらい重要な品質については、[アラビア語向け LLM の選び方](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)で解説しています。
4.  \*\*出力も測る。\*\*各モデルにアラビア語と英語で答えさせ、`completion_tokens` を比べてください。どのモデルでも出力は入力よりトークン単価が高いので、出力の比率のほうが重要なこともあります。

モデルのトークナイザーが（たとえば Hugging Face で）公開されていれば、そのトークナイザーでオフラインでトークンを数えることもできます。ただし最終的な答えは API の usage フィールドです。サーバーが適用するチャットテンプレートが含まれるからです。

### 結果の読み方

モデルごとの比率が出たら、よくあるパターンは 3 つです。

-   \*\*1 に近い。\*\*トークナイザーが自社のアラビア語をうまく扱えています。同じ内容なら、アラビア語と英語のトラフィックのコストはほぼ同じです。
-   \*\*明らかに 1 を超える。\*\*アラビア語のメッセージ 1 件あたりのコストが高くなります。予測とコンテキストの上限にそれを織り込み、同程度の品質で自社のアラビア語をより効率よく扱う別のモデルがないか検討してください。
-   \*\*サンプルによって大きく異なる。\*\*たいていは内容が混在しているしるしです。ダイアクリティカルマーク付きのテキスト、Arabizi、数字、URL、コードがアラビア語のメッセージに含まれています。サンプルを種類ごとに分け、それぞれ測定してください。

スクリプトは保存しておき、モデルを変えたときや、プロバイダーがモデルのバージョンを更新したときに再実行してください。新しいトークナイザーはすべての数を変えるからです。

## コストとコンテキストにとって何を意味しますか？

コストはトークン数に比例するので、アラビア語の比率が高ければ、トラフィックのアラビア語部分の請求額は同じ倍率で増えます。BroadNet の料金では、[Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) のアラビア語入力は 100 万トークンあたり $0.175、出力は $2.17、Gemma 4 VL 26B ではそれぞれ $0.10 と $0.22 です。トークン単価はどの言語でも同じで、変わるのはトークン数だけです。測定した比率を[月額コストの見積もり方](https://broadrouter.com/ja/blog/estimate-llm-api-cost-before-launch/)に当てはめてください。

コンテキストの上限も同じように縮みます。Gemma 4 VL 26B は 1 リクエストあたり 32,768 トークンを受け付けますが、長いアラビア語の文書は英訳より早くそれを使い切ります。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンを受け付けます。

## アラビア語のトークン数はどう減らせますか？

-   \*\*一貫して正規化する。\*\*tatweel を除き、タスクに不要ならダイアクリティカルマークも除きます。キャッシュが効き続けるよう、すべてのリクエストに同じ正規化を適用してください。
-   \*\*指示を短くする。\*\*長いシステムプロンプトは毎ターン再送されます。言葉を引き締めれば、どちらの言語でもトークンを節約できます。
-   \*\*安定したプレフィックスをキャッシュする。\*\*キャッシュ料金のあるモデルでは、繰り返し送るシステムプロンプトや文書のコストがずっと安くなります。[キャッシュの仕組み](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)。
-   **簡潔な回答を求める。**「2 文で答えてください」は、どんなトークナイザーの工夫よりも節約になります。

テキストではなくアラビア語の音声の場合、文字起こしはトークン単位ではなく音声 1 分単位の料金なので、その部分の請求額にトークン化は影響しません。[アラビア語の音声認識のページ](https://broadrouter.com/ja/blog/arabic-speech-to-text-api-buyers-guide/)をご覧ください。

関連する無料ツール（英語）

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/)

トークナイザーとは、テキストを言語モデルが読む整数のトークン ID の列に変換し、生成された ID をテキストに戻す部品です。モデルごとに独自のトークナイザーがあるため、同じテキストでもモデルによってトークン数が変わります。

[現代標準アラビア語（MSA）](https://broadrouter.com/ja/glossary/msa/)

現代標準アラビア語（MSA）とは、アラブ世界全体で書き言葉、ニュース、教育、公式のスピーチに使われる標準化されたアラビア語です。誰の日常の母語でもなく、人々はエジプト方言や湾岸方言などの地域方言を話し、改まった場面で MSA に切り替えます。

[アラビージー（Arabizi）](https://broadrouter.com/ja/glossary/arabizi/)

アラビージー（Arabizi）とは、ラテン文字でくだけて書くアラビア語で、ラテン文字にない音は ع を 3 で表すように数字で書きます。チャットや SNS でよく使われ、ほとんどが方言で、決まった綴りがなく、英語やフランス語が混ざることもよくあります。

[アラビア語テキストの正規化（Arabic text normalization）](https://broadrouter.com/ja/glossary/arabic-text-normalization/)

アラビア語テキストの正規化とは、照合の前に同じ単語の表記ゆれを 1 つの形にそろえる処理です。発音記号とタトウィールを取り除き、アリフの形を統一し、多くの場合 ى を ي に、ة を ه に置き換えます。検索キーと評価に使い、表示するテキストには使いません。

[チャットテンプレート（chat template）](https://broadrouter.com/ja/glossary/chat-template/)

チャットテンプレートとは、ロール付きのメッセージのリストを、制御トークンも含めてモデルが想定する 1 本のトークン列に変換する書式ルールです。通常は Jinja で書かれ、トークナイザーと一緒に配布されます。誤ったテンプレートでは回答の質が大幅に落ちます。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/)

バイトペアエンコーディング（BPE）とは、1 文字または 1 バイトから始め、最頻出の隣接ペアを新しい語彙項目として結合する操作を目標の語彙サイズまで繰り返すサブワード分割のアルゴリズムです。今の LLM のトークナイザーの多くは BPE かそのバイトレベル版です。

## よくある質問

### アラビア語の 1 語は何トークンですか？

モデルによります。BroadRouter のトークナイザーデータセットでは、5 つのトークナイザーで現代標準アラビア語は 100 語あたり 183.0（Qwen3.8 27B）〜243.9（GLM 5.3）トークンでした。単語単位ではなく対訳テキストで比較し、使うモデルで測定してください。

### 英語 1,000 語は何トークンですか？

BroadRouter の実測データセットの 5 つのトークナイザーで、平易な英語の文章は約 1,269〜1,320 トークン（平均 1,290）でした。技術文書、コード、ほかの言語ではもっと多くなるので、自社のテキストで数えてください。

### ダイアクリティカルマークを除くとトークンは減りますか？

通常は減ります。ダイアクリティカルマークは、トークナイザーがエンコードしなければならない余分な文字だからです。タスクに不要な場合だけ除いてください。コーラン、詩、発音では意味を担っています。

### 「1 トークン 4 文字」の目安はアラビア語にも当てはまりますか？

いいえ。OpenAI はこの目安を自社のトークナイザーでの英語テキストについて示しています。アラビア語にも、ほかのモデルのトークナイザーにも当てはまりません。

### アラビア語のトークンは 1 トークンあたりの料金が高いのですか？

いいえ。どの言語をエンコードしていても、1 トークンの料金は同じです。アラビア語が高くなるのは、同じ内容がより多くのトークンに分割される場合だけです。

## 続けて読む

-   [アラビア語向け LLM API の選び方：何をテストすべきか](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)
-   [LLM API 料金の仕組み：入力・キャッシュ・出力・推論トークンを解説](https://broadrouter.com/ja/blog/llm-api-pricing-explained/)
-   [アラビア語のプロンプトエンジニアリング：文体、RTL、数字、混在テキスト](https://broadrouter.com/ja/blog/arabic-prompt-engineering/)
-   [Arabizi と LLM：3 や 7 などの数字を使うラテン文字アラビア語の扱い方](https://broadrouter.com/ja/blog/arabizi-llm-handling/)
-   [LLM でアラビア語に母音記号を付ける：プロンプト、検証、DER](https://broadrouter.com/ja/blog/arabic-diacritization-llm/)
-   [LLM API の料金改定まとめ 2026 年 10 月：値上げ 3 件、値下げなし](https://broadrouter.com/ja/blog/llm-api-price-changes-october-2026/)
-   [LLM API の料金はどのくらいの頻度で変わる？3 年分のアーカイブ調査](https://broadrouter.com/ja/blog/how-often-llm-api-prices-change/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**出典**

-   [Petrov ほか、Language Model Tokenizers Introduce Unfairness Between Languages（arXiv 2305.15425、2026-11-16 確認）](https://arxiv.org/abs/2305.15425)
-   [Ahia ほか、Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models（arXiv 2305.13707、2026-11-16 確認）](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers、トークン化アルゴリズム（2026-11-16 確認）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI ヘルプセンター、トークンとは何か、その数え方](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [BroadRouter トークナイザー効率データセット、バージョン 4（2026-11-15 測定）](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 評価ベンチマーク（Meta、CC BY-SA 4.0）、MSA の比率に使った対訳文（固定コミット、2026-11-16 確認）](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [BroadNet Inference API リファレンス、usage フィールド（2026-11-16 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-tokens-per-word-arabic-english&utm_content=sources)
