検索器は文書の半分だけを返すことはできません。どんな断片にするかを決めるのがチャンク分割です。
しくみ
LangChain のドキュメントは目的を簡潔に述べています。テキストスプリッターは “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”(訳:大きな文書を、個別に検索でき、モデルのコンテキストウィンドウの上限に収まる小さなチャンクに分割する)ものです。その後、各チャンクはエンベディングに変換されてベクトルデータベースに保存されるか、キーワード検索用にインデックス化されます。
ほとんどのチャンカーは 2 つの数値で制御します。
- チャンクサイズ:1 チャンクの最大の長さで、文字数かトークン数で指定します。
- チャンクオーバーラップ:あるチャンクの末尾のテキストを、次のチャンクの先頭でどれだけ繰り返すかです。
スプリッターは、どこで切るかも異なります。LangChain は、ほとんどの場合まず再帰的なスプリッターから始めることを勧めています。段落のような大きな単位をなるべく保ち、単位が大きすぎると文、さらに単語へと切り替えます。LlamaIndex の SentenceSplitter は文の境界で分割します。ドキュメントでは設定を明示した例が示されています。
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
計算例です。100,000 トークンのコーパスを 500 トークンのチャンク、50 トークンのオーバーラップで分割すると、約 222 チャンク(新しいチャンクごとに 450 トークンが新規に加わる)になり、埋め込むトークンは約 111,000 で、オーバーラップなしより 11% 多くなります。
なぜ重要か
- 再現率。 チャンクが小さすぎると文脈が失われ、大きすぎると無関係なテキストで一致が薄まります。
- LLM のコスト。 取り出したチャンクは入力トークンとして送られます。1,000 トークンのチャンクを 5 つ送れば、質問ごとに入力トークンが 5,000 増えます。
- インデックスのコスト。 オーバーラップも小さなチャンクも、埋め込んで保存するベクトルの数を増やします。
- 言語。 アラビア語の単語には接語や発音記号が付くことがあり、トークン数や照合結果が変わります。アラビア語のチャンク分割と正規化はアラビア語の RAG 検索で扱っています。
チャンク分割は調整手段の一つにすぎません。サイズの調整だけより、ハイブリッド検索やリランカーを加えるほうが効果的なこともよくあります。
BroadNet Inference の場合
BroadNet は埋め込みのエンドポイントを提供していないので、チャンク分割と埋め込みは自分のツールか別の事業者で行い、取り出したチャンクを BroadNet のチャットモデルに送ります。長いコンテキストのモデルはこのトレードオフを変えます。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンを受け付けるので、小さなコーパスなら検索なしで収まる場合もあります。両者の比較は長いコンテキストと RAG で行っています。
RAG チャンク分割計算ツールでは、設定に応じたチャンク数、インデックスのサイズ、クエリあたりのトークン数を見積もれます。公開されているテストは RAG のチャンクサイズとオーバーラップで順に解説しています。