BroadRouter
始める

バイトペアエンコーディング(BPE)

更新日

バイトペアエンコーディング(BPE)とは、1 文字または 1 バイトから始め、最頻出の隣接ペアを新しい語彙項目として結合する操作を目標の語彙サイズまで繰り返すサブワード分割のアルゴリズムです。今の LLM のトークナイザーの多くは BPE かそのバイトレベル版です。

別名: バイトペアエンコーディング、バイト対符号化、BPE トークナイザー、バイトレベル BPE、サブワード分割、byte pair encoding、byte-pair encoding、byte-level BPE、BPE tokenization

バイトペアエンコーディングは、ほとんどの LLM のトークナイザーを支えるレシピです。よく一緒に現れるテキストの断片を学習し、頻出する断片にそれぞれ専用のトークンを割り当てます。

しくみ

Sennrich、Haddow、Birch(2015)は、もとは圧縮の手法だった BPE を翻訳に応用しました。彼らの主張は、人名、複合語、まれな単語はより小さな単位から組み立てられるので、モデルがすべての単語の辞書項目を持つ必要はない、というものです。

BPE の語彙の学習は単純なループで、Hugging Face のドキュメントが手順を追って示しています。

  1. 学習コーパスで単語の頻度を数えます。たとえば hug 10、pug 5、pun 12、bun 4、hugs 5。
  2. 1 文字ずつから始めます:b g h n p s u。
  3. 最も頻繁に隣り合うペアを探します。u + g が 20 回現れるので、ug を追加します。
  4. これを繰り返します。u + n(16 回)が un になります。
  5. 目標の語彙サイズに達したら止めます。語彙サイズは、基本記号の数に結合の回数を足したものです。

新しいテキストをエンコードするときは、学習した結合を同じ順序で適用します。エンコードは決定的で、同じテキストからは常に同じトークンが得られます。

バイトレベル BPE は、文字ではなく 256 通りのバイト値から始めます。そのため、どんな文字列でもエンコードできます。GPT-2 の語彙は、256 バイト + 50,000 回の結合 + 1 個のテキスト終端トークン = 50,257 でした。

なぜ重要か

BPE を知ると、API の請求書に表れるいくつかの現象が説明できます。

  • よく使われる英単語は 1 トークンになります。 そのペアが早い段階で結合されたからです。
  • まれな単語、タイプミス、ラテン文字以外の文字体系は、より多くのトークンに分かれます。 UTF-8 ではアラビア文字 1 文字が 2 バイトなので、アラビア語の結合をあまり学習していないバイトレベルのトークナイザーは、1 単語あたりにより多くのトークンを使います。
  • トークン数はモデルによって違います。 各モデルは、自分のデータから独自の結合を学習しています。

私たちが 2026-11-14 に行った測定でも、この影響が見られました。117 語の同じ湾岸方言のチャットが、GLM 5.3 では 276 トークン、Qwen3.8 27B では 229 トークンでした。100 語あたりにすると、276 / 117 x 100 = 235.9 トークンと 229 / 117 x 100 = 195.7 トークンです。同じチャットの英訳は 202 トークンと 208 トークンで、ほぼ同じでした。

BroadNet Inference の場合

BroadNet ではトークナイザーを選べません。各モデルが独自のものを使います。アラビア語のトラフィックに使うモデルを選ぶ前に、アラビア語トークンカウンターで実際のテキストのトークン数を比べてください。全体の表はアラビア語と英語の単語あたりのトークン数にあります。料金を決めるのは単語数ではなくトークン数だということを忘れないでください。

よくある質問

言語モデルに BPE を使い始めたのは誰ですか?

BPE はもともとデータ圧縮のアルゴリズムでした。2015 年に Sennrich、Haddow、Birch が、ニューラル機械翻訳でまれな単語をサブワード単位に分割するために応用し、LLM のトークナイザーはその研究から発展しました。

バイトレベル BPE とは何ですか?

文字ではなく 256 通りのバイト値を基本語彙とする BPE トークナイザーです。どんな文字体系のどんなテキストでも、未知トークンなしでエンコードできます。GPT-2 はこれを 50,257 項目で使っていました。

BPE では、なぜアラビア語のほうが英語よりトークンが多くなるのですか?

結合は学習データから学ばれます。トークナイザーが見たアラビア語が少なければ、結合されたアラビア語のペアも少なくなり、アラビア語の単語はより多くの断片に分かれます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く