---
title: "RAG のチャンク分割とは？チャンクサイズとオーバーラップ | BroadRouter"
description: "チャンク分割は、RAG システムが埋め込み・インデックス化・検索できるように文書を断片に分ける処理です。チャンクサイズとオーバーラップのしくみ、よく使われる設定、コストのトレードオフを解説します。"
url: https://broadrouter.com/ja/glossary/chunking/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/chunking/) (2026-11-15 更新).

# チャンク分割（chunking）

更新日 2026-11-15

チャンク分割とは、検索パイプラインで埋め込みとインデックス化の前に文書をチャンクと呼ぶ小さな断片に分ける処理です。チャンクサイズは各断片の量を決め、オーバーラップは隣接チャンク間でテキストを重複させて境界で切れた内容の欠落を防ぎます。

別名： チャンク分割、チャンキング、チャンクサイズ、チャンクオーバーラップ、テキスト分割、文書分割、チャンク戦略、chunk size、chunk overlap、text chunking、document chunking、chunking strategy、chunking

検索器は文書の半分だけを返すことはできません。どんな断片にするかを決めるのがチャンク分割です。

## しくみ

LangChain のドキュメントは目的を簡潔に述べています。テキストスプリッターは “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”（訳：大きな文書を、個別に検索でき、モデルのコンテキストウィンドウの上限に収まる小さなチャンクに分割する）ものです。その後、各チャンクは[エンベディング](https://broadrouter.com/ja/glossary/embeddings/)に変換されて[ベクトルデータベース](https://broadrouter.com/ja/glossary/vector-database/)に保存されるか、キーワード検索用にインデックス化されます。

ほとんどのチャンカーは 2 つの数値で制御します。

-   **チャンクサイズ**：1 チャンクの最大の長さで、文字数かトークン数で指定します。
-   **チャンクオーバーラップ**：あるチャンクの末尾のテキストを、次のチャンクの先頭でどれだけ繰り返すかです。

スプリッターは、どこで切るかも異なります。LangChain は、ほとんどの場合まず再帰的なスプリッターから始めることを勧めています。段落のような大きな単位をなるべく保ち、単位が大きすぎると文、さらに単語へと切り替えます。LlamaIndex の `SentenceSplitter` は文の境界で分割します。ドキュメントでは設定を明示した例が示されています。

```python
from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
```

計算例です。100,000 トークンのコーパスを 500 トークンのチャンク、50 トークンのオーバーラップで分割すると、約 222 チャンク（新しいチャンクごとに 450 トークンが新規に加わる）になり、埋め込むトークンは約 111,000 で、オーバーラップなしより 11% 多くなります。

## なぜ重要か

-   **再現率。** チャンクが小さすぎると文脈が失われ、大きすぎると無関係なテキストで一致が薄まります。
-   **LLM のコスト。** 取り出したチャンクは入力トークンとして送られます。1,000 トークンのチャンクを 5 つ送れば、質問ごとに入力トークンが 5,000 増えます。
-   **インデックスのコスト。** オーバーラップも小さなチャンクも、埋め込んで保存するベクトルの数を増やします。
-   **言語。** アラビア語の単語には接語や発音記号が付くことがあり、トークン数や照合結果が変わります。アラビア語のチャンク分割と正規化は[アラビア語の RAG 検索](https://broadrouter.com/ja/blog/arabic-rag-search/)で扱っています。

チャンク分割は調整手段の一つにすぎません。サイズの調整だけより、[ハイブリッド検索](https://broadrouter.com/ja/glossary/hybrid-search/)や[リランカー](https://broadrouter.com/ja/glossary/reranking/)を加えるほうが効果的なこともよくあります。

## BroadNet Inference の場合

BroadNet は埋め込みのエンドポイントを提供していないので、チャンク分割と埋め込みは自分のツールか別の事業者で行い、取り出したチャンクを BroadNet のチャットモデルに送ります。長いコンテキストのモデルはこのトレードオフを変えます。[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) と [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) は 1,048,576 トークンを受け付けるので、小さなコーパスなら検索なしで収まる場合もあります。両者の比較は[長いコンテキストと RAG](https://broadrouter.com/ja/blog/long-context-vs-rag/) で行っています。

[RAG チャンク分割計算ツール](https://broadrouter.com/tools/rag-chunking-calculator/)では、設定に応じたチャンク数、インデックスのサイズ、クエリあたりのトークン数を見積もれます。公開されているテストは [RAG のチャンクサイズとオーバーラップ](https://broadrouter.com/ja/blog/rag-chunk-size-overlap/)で順に解説しています。

## よくある質問

### チャンクサイズはどのくらいから始めればよいですか？

唯一の正解はありません。開始サイズを決め、答えがわかっている実際の質問で小さなテストセットを作り、2〜3 通りのサイズで検索のヒット率を比べてください。RAG のチャンクサイズの記事に、公開されている結果をまとめています。

### オーバーラップでインデックスは大きくなりますか？

なります。重複したテキストは複数回保存・埋め込みされるので、インデックスのサイズと埋め込みのコストはオーバーラップの割合に応じて増えます。

### チャンクは文字数とトークン数のどちらで分けるべきですか？

トークン数で決めると、埋め込みモデルや LLM が実際に数える単位と一致します。文字数のほうが簡単ですが、同じ文字数でも言語によってトークン数は大きく変わり、アラビア語もその一つです。

## 関連項目

-   [RAG（検索拡張生成）](https://broadrouter.com/ja/glossary/rag/) (用語)
-   [エンベディング（埋め込み、embeddings）](https://broadrouter.com/ja/glossary/embeddings/) (用語)
-   [ベクトルデータベース（vector database）](https://broadrouter.com/ja/glossary/vector-database/) (用語)
-   [ハイブリッド検索（hybrid search）](https://broadrouter.com/ja/glossary/hybrid-search/) (用語)
-   [リランキング（reranking）](https://broadrouter.com/ja/glossary/reranking/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [LlamaIndex で OpenAILike を使って BroadNet Inference に接続する](https://broadrouter.com/ja/guides/llamaindex-openailike/) (ガイド)
-   [LangChain で BroadNet Inference を使う](https://broadrouter.com/ja/guides/langchain-openai-base-url/) (ガイド)
-   [RAG のチャンクサイズとオーバーラップ：検索精度とコストへの影響](https://broadrouter.com/ja/blog/rag-chunk-size-overlap/) (記事)
-   [アラビア語 RAG：うまくいく正規化、チャンク分割、検索](https://broadrouter.com/ja/blog/arabic-rag-search/) (記事)
-   [ロングコンテキストか RAG か：100 万トークンがベクトル DB に代わるとき](https://broadrouter.com/ja/blog/long-context-vs-rag/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-chunking&utm_content=page-cta) ·

**出典**

-   [LangChain ドキュメント、テキストスプリッター（2026-11-15 確認）](https://docs.langchain.com/oss/python/integrations/splitters)
-   [LlamaIndex ドキュメント、ノードパーサーの使い方（SentenceSplitter）（2026-11-15 確認）](https://developers.llamaindex.ai/python/framework/module_guides/loading/node_parsers/)
