BroadRouter
始める

チャンク分割(chunking)

更新日

チャンク分割とは、検索パイプラインで埋め込みとインデックス化の前に文書をチャンクと呼ぶ小さな断片に分ける処理です。チャンクサイズは各断片の量を決め、オーバーラップは隣接チャンク間でテキストを重複させて境界で切れた内容の欠落を防ぎます。

別名: チャンク分割、チャンキング、チャンクサイズ、チャンクオーバーラップ、テキスト分割、文書分割、チャンク戦略、chunk size、chunk overlap、text chunking、document chunking、chunking strategy、chunking

検索器は文書の半分だけを返すことはできません。どんな断片にするかを決めるのがチャンク分割です。

しくみ

LangChain のドキュメントは目的を簡潔に述べています。テキストスプリッターは “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”(訳:大きな文書を、個別に検索でき、モデルのコンテキストウィンドウの上限に収まる小さなチャンクに分割する)ものです。その後、各チャンクはエンベディングに変換されてベクトルデータベースに保存されるか、キーワード検索用にインデックス化されます。

ほとんどのチャンカーは 2 つの数値で制御します。

  • チャンクサイズ:1 チャンクの最大の長さで、文字数かトークン数で指定します。
  • チャンクオーバーラップ:あるチャンクの末尾のテキストを、次のチャンクの先頭でどれだけ繰り返すかです。

スプリッターは、どこで切るかも異なります。LangChain は、ほとんどの場合まず再帰的なスプリッターから始めることを勧めています。段落のような大きな単位をなるべく保ち、単位が大きすぎると文、さらに単語へと切り替えます。LlamaIndex の SentenceSplitter は文の境界で分割します。ドキュメントでは設定を明示した例が示されています。

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

計算例です。100,000 トークンのコーパスを 500 トークンのチャンク、50 トークンのオーバーラップで分割すると、約 222 チャンク(新しいチャンクごとに 450 トークンが新規に加わる)になり、埋め込むトークンは約 111,000 で、オーバーラップなしより 11% 多くなります。

なぜ重要か

  • 再現率。 チャンクが小さすぎると文脈が失われ、大きすぎると無関係なテキストで一致が薄まります。
  • LLM のコスト。 取り出したチャンクは入力トークンとして送られます。1,000 トークンのチャンクを 5 つ送れば、質問ごとに入力トークンが 5,000 増えます。
  • インデックスのコスト。 オーバーラップも小さなチャンクも、埋め込んで保存するベクトルの数を増やします。
  • 言語。 アラビア語の単語には接語や発音記号が付くことがあり、トークン数や照合結果が変わります。アラビア語のチャンク分割と正規化はアラビア語の RAG 検索で扱っています。

チャンク分割は調整手段の一つにすぎません。サイズの調整だけより、ハイブリッド検索やリランカーを加えるほうが効果的なこともよくあります。

BroadNet Inference の場合

BroadNet は埋め込みのエンドポイントを提供していないので、チャンク分割と埋め込みは自分のツールか別の事業者で行い、取り出したチャンクを BroadNet のチャットモデルに送ります。長いコンテキストのモデルはこのトレードオフを変えます。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンを受け付けるので、小さなコーパスなら検索なしで収まる場合もあります。両者の比較は長いコンテキストと RAG で行っています。

RAG チャンク分割計算ツールでは、設定に応じたチャンク数、インデックスのサイズ、クエリあたりのトークン数を見積もれます。公開されているテストは RAG のチャンクサイズとオーバーラップで順に解説しています。

よくある質問

チャンクサイズはどのくらいから始めればよいですか?

唯一の正解はありません。開始サイズを決め、答えがわかっている実際の質問で小さなテストセットを作り、2〜3 通りのサイズで検索のヒット率を比べてください。RAG のチャンクサイズの記事に、公開されている結果をまとめています。

オーバーラップでインデックスは大きくなりますか?

なります。重複したテキストは複数回保存・埋め込みされるので、インデックスのサイズと埋め込みのコストはオーバーラップの割合に応じて増えます。

チャンクは文字数とトークン数のどちらで分けるべきですか?

トークン数で決めると、埋め込みモデルや LLM が実際に数える単位と一致します。文字数のほうが簡単ですが、同じ文字数でも言語によってトークン数は大きく変わり、アラビア語もその一つです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く