チャンクサイズとオーバーラップは、どの RAG パイプラインでも早い段階で決め、その後めったに見直さない 2 つの数字です。この 2 つが、保存するベクトルの数、埋め込むトークン数、質問のたびに LLM に送るトークン数、そもそも正しい箇所が見つかるかどうかを決めます。この記事では、公開されたテストでわかったことを紹介したうえで、トークンの計算を一つずつ追い、何かを埋め込む前に各設定のコストが見えるようにします。
そもそも RAG を使うかどうか迷っているなら、まずロングコンテキストか RAG かをお読みください。アラビア語の文書を扱う場合は、アラビア語の RAG とアラビア語テキストの正規化もあわせてどうぞ。
チャンクサイズとオーバーラップで何が変わりますか?
- チャンクサイズは、埋め込んで検索する 1 つの断片に何トークン入れるかです。
- オーバーラップは、隣り合うチャンクが共有するトークン数です。境界で切れた文が、少なくとも 1 つのチャンクには丸ごと含まれるようにします。
- Top-k は、1 つの質問で何チャンクを検索するかです。
この 3 つで、次の 4 つが決まります。
| 量 | 式(長い文書の場合) |
|---|---|
| 保存するチャンク数 | コーパスのトークン数 ÷(サイズ − オーバーラップ) |
| 埋め込むトークン数 | コーパスのトークン数 × サイズ ÷(サイズ − オーバーラップ) |
| クエリあたりのコンテキスト | top-k × サイズ |
| クエリあたりの LLM 入力 | top-k × サイズ + システムプロンプト + 質問 |
最初の 2 つはインデックス作成のたびに 1 回、チャンク分割をやり直すたびにもう一度支払います。最後の 1 つは、質問のたびに、ずっと支払い続けます。
チャンクサイズについて、公開テストは何と言っていますか?
知っておく価値のある公開評価が 2 つあります。測ったものが違うからです。
**Chroma(Smith、Troynikov、2024 年 7 月)**は、トークン単位で検索を測りました。関連するテキストのうちどれだけが検索されたか(再現率)、検索されたもののうちどれだけが関連していたかです。検索するチャンクは 5 つ、埋め込みは OpenAI の text-embedding-3-large です。一部の結果を抜粋します。
| スプリッター | サイズ(トークン) | オーバーラップ | 再現率 | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | 85.4% | 1.5% |
| Token | 800 | 400 | 87.9% | 1.4% |
| Recursive | 400 | 200 | 88.1% | 3.3% |
| Recursive | 400 | 0 | 89.5% | 3.6% |
| Recursive | 200 | 0 | 88.1% | 6.9% |
IoU(intersection over union)は、検索されたテキストのうちどれだけが関連していたかを測るので、無駄なトークンの指標にもなります。800/400 の行は OpenAI のファイル検索のデフォルトに相当します。Chroma は、トークンスプリッターを前提とすると、この設定の再現率は平均をやや下回り、ほかの指標では最低だったとしています。オーバーラップなしの小さいチャンクは、同等以上の再現率で、無関係なテキストもはるかに少なくなりました。
**NVIDIA(2025 年 6 月)**は、5 つのデータセットでエンドツーエンドの回答精度を測りました。128〜2,048 トークン・オーバーラップ 15% のトークンチャンクに加え、ページ単位とセクション単位のチャンクも試しています。ページ単位が平均精度で最も高く(0.648)、ばらつきも最も小さくなりました。最適なトークンサイズは質問によって異なり、事実を問うデータセットでは 256〜512 トークン、分析的なデータセットでは 1,024 トークンかページ単位が有利でした。両極端の 128 と 2,048 は、たいてい成績が劣りました。
2 つの評価が一致している点が 1 つあります。万能の最適サイズは存在しないこと、そして大きなチャンクに大きなオーバーラップという組み合わせがデフォルトとして正しいことはめったにない、ということです。
オーバーラップでインデックスはどれくらい膨らみますか?
各チャンクは「サイズ − オーバーラップ」トークンずつ進むので、インデックスにはコーパスが「サイズ ÷(サイズ − オーバーラップ)」個分入ります。1 万トークンの文書からなる 200 万トークンのコーパスの場合は次のとおりです。
| サイズ | オーバーラップ | チャンク数 | 埋め込むトークン数 | 膨張率 |
|---|---|---|---|---|
| 200 | 0 | 10,000 | 2,000,000 | 1.00× |
| 400 | 0 | 5,000 | 2,000,000 | 1.00× |
| 512 | 77 (15%) | 4,600 | 2,338,800 | 1.17× |
| 1,024 | 154 (15%) | 2,400 | 2,338,800 | 1.17× |
| 800 | 400 (50%) | 4,800 | 3,840,000 | 1.92× |
| 400 | 200 (50%) | 9,800 | 3,920,000 | 1.96× |
短い文書では、各文書の最後のチャンクが半端になるので、膨張は少し小さくなります。式が示すのは上限です。埋め込むトークン、ベクトルの保存、再インデックスの時間で、15% のオーバーラップは約 18%、50% は約 100% のコスト増になります。
オーバーラップはクエリ時にもコストになります。オーバーラップ 50% だと、同じ質問で検索された隣り合う 2 チャンクは、テキストの半分が重複します。その重複したトークンにも料金を払ううえ、ほかの関連箇所が top-k から押し出されます。
BroadNet は埋め込みを販売していないので、この部分の請求は埋め込みプロバイダーに支払います。埋め込みコスト計算ツールで見積もってください。
チャンクサイズは LLM の請求にどう影響しますか?
質問のたびに、top-k 個のチャンクとプロンプトが送られます。月 10 万件の質問、システムプロンプトと質問で 600 トークン、回答は毎回 300 トークンとします。
| サイズ × top-k | クエリあたりのコンテキスト | クエリあたりの入力 | 月あたりの入力 |
|---|---|---|---|
| 200 × 10 | 2,000 | 2,600 | 2 億 6,000 万 |
| 400 × 5 | 2,000 | 2,600 | 2 億 6,000 万 |
| 512 × 5 | 2,560 | 3,160 | 3 億 1,600 万 |
| 800 × 5 | 4,000 | 4,600 | 4 億 6,000 万 |
| 1,024 × 5 | 5,120 | 5,720 | 5 億 7,200 万 |
| 1,024 × 8 | 8,192 | 8,792 | 8 億 7,900 万 |
出力はどの行も月 3,000 万トークンなので、変わるのは入力だけです。100 万トークンあたりの料金で計算すると、月の入力コストは、最後の列を 100 万単位にした数にその料金を掛けたものです。100 万入力トークンあたり $0.10 の Gemma 4 VL 26B では、1,024 × 8 の構成は月の入力が 879 × $0.10、400 × 5 は 260 × $0.10 です。3.4 倍のコストですが、公開テストでは、この設定の再現率が高いという結果は出ていません。Qwen3.8 27B(入力 $0.175)や GLM 5.3(入力 $0.78)でも比率は同じで、総額はより大きくなります。
モデルの料金以上に効くレバーが 2 つあります。
- **サイズを上げたら k を下げる。**200 × 10 と 400 × 5 は同じ量のコンテキストを送ります。サイズを試すときは、クエリあたりのコンテキストをほぼ一定に保ってください。そうすれば、比べているのがコンテキストの予算ではなく、検索の品質になります。
- **固定部分をキャッシュする。**システムプロンプトを先頭に置き、バイト単位で同一に保てば、キャッシュ料金のあるモデルではキャッシュ入力の料金で課金されます。検索されたチャンクは質問ごとに変わるので、キャッシュされることはまれです。
コンテキストの上限も重要です。Gemma 4 VL 26B は 1 リクエストあたり 32,768 トークンを受け付け、上の表のどの行にも十分です。k × サイズを数万トークン規模まで増やすなら、RAG からロングコンテキスト寄りに移っていることになり、その比較には別の計算があります。RAG チャンク計算ツールを使えば、自分のコーパス、チャンクサイズ、オーバーラップ、top-k でこれらの式を計算できます。
単語を切らずにトークン単位でチャンク分割するには?
数えるのはトークンで、切るのは構造で、が原則です。LangChain の RecursiveCharacterTextSplitter は length_function でサイズを測り、デフォルトは文字数です。その場合、512 の「サイズ」は 512 文字で、英語ならおよそ 100〜150 トークン、アラビア語ならまた別の数になります。アラビア語の 1 単語あたりのトークン数を参照してください。埋め込みの上限も LLM の請求もトークン単位です。
次のチャンク分割関数は、段落を丸ごとトークン予算まで詰め込み、末尾の段落をオーバーラップとして次に持ち越します。段落の境界で切るので、単語やマルチバイトのアラビア文字を分断しません。生のトークンウィンドウで切ると、それが起こり得ます。
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
ここでのオーバーラップは「最大で」という意味です。オーバーラップの予算より長い段落は繰り返されません。size を超える 1 つの段落は丸ごと残ります。文書に文の区切りがあるなら、そうした段落は先に文単位で分けてください。各チャンクの先頭に文書のタイトルとセクション見出しを付けると、検索されたチャンクが何についてのものかがわかります。チャンクごとに数トークン増えますが、オーバーラップより役立つことがよくあります。
自分のデータに合う数字はどう選びますか?
- **評価セットを作ります。**実際の質問を 50〜200 件用意し、それぞれに答えとなる箇所を対応させます。採点方法は LLM の評価ガイドで解説しています。
- **コンテキストの予算を固定します。**サイズを比べる間は、k × サイズを 2,000 トークンなど 1 つの値の近くに保ちます。
- **3 つのサイズと 2 つのオーバーラップを試します。**たとえば 256、512、1,024 トークンを、それぞれオーバーラップ 0 と 15% で試します。正しい箇所が k 以内に入る再現率を測ります。
- **構造も試します。**文書にページや番号付きのセクションがあるなら、ページ単位やセクション単位のチャンクを各トークンサイズと比べてください。NVIDIA はページ単位が最も安定していたとしています。
- 最良の再現率から 1〜2 ポイント以内の設定のうち、最も安いものを選び、月間コストの見積もり方法で、自分のクエリ量での料金を計算します。
これはコーパス全体を埋め込む前に、サンプルで行ってください。後からチャンク分割を変えると、すべてを埋め込み直すことになります。
BroadNet Inference が向いている場面
BroadNet Inference が担うのは RAG の回答ステップで、検索ではありません。埋め込みやベクトルストレージは販売していないので、好きな埋め込みプロバイダーとベクトルデータベースと組み合わせてください。回答には、Gemma 4 VL 26B が低コストの選択肢で、$5 の初回クレジットで動かせます。Qwen3.8 27B(262,144 トークンのコンテキスト)と GLM 5.3(1,048,576)は、チャージ後に、大きめの top-k や長い文書に向いています。プロンプトと検索された箇所は、リクエストの後に保持されません。コーパスが小さく安定していてコンテキストウィンドウに収まるなら、チャンク分割よりロングコンテキストのほうが勝るかもしれません。
