BroadRouter
开始使用

文本分块(chunking)

更新于

分块是检索流水线中把文档切成较小片段(称为块,chunk)的步骤,在嵌入和建索引之前进行。块大小决定每个片段容纳多少文本,块重叠则让相邻的块重复一部分文本,避免在边界处被切断的内容丢失。

又称: 文本分块、文档分块、分块策略、切片、文档切片、块大小、块重叠、chunk size、chunk overlap、text chunking、document chunking、chunking strategy、chunking

检索器没法只返回半篇文档。分块决定了文档被切成哪些片段。

工作原理

LangChain 的文档把目的说得很简单:文本分割器 “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”(译文:把大文档拆成更小的块,每块都能单独检索,并且能放进模型上下文窗口的限制之内。)然后每个块被转换成嵌入向量,存进向量数据库,或者建成关键词索引。

大多数分块器由两个数字控制:

  • 块大小(chunk size):一个块的最大长度,按字符或 token 计。
  • 块重叠(chunk overlap):上一个块末尾有多少文本会在下一个块开头重复。

各种分割器在哪里下刀也不同。LangChain 建议大多数情况先用它的递归分割器。它会尽量保持段落这样的大单元完整,单元太大时再退而按句子、再按词切分。LlamaIndex 的 SentenceSplitter 按句子边界切分;它的文档展示了显式设置的写法:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

算一笔账:一个 100,000 token 的语料,切成 500 token 的块、重叠 50 token,大约得到 222 个块(每个新块增加 450 个新 token),需要嵌入约 111,000 个 token,比不重叠多 11%。

为什么重要

  • 召回率。 块太小会丢失上下文;块太大,匹配内容会被无关文本稀释。
  • 大模型成本。 检索到的块作为输入 token 发送。五个 1,000 token 的块,会让每个问题多出 5,000 个输入 token。
  • 索引成本。 重叠和小块都会增加需要嵌入和存储的向量数量。
  • 语言。 阿拉伯语单词可能带有附着成分和变音符号,会改变 token 数和匹配结果。阿拉伯语 RAG 搜索介绍了阿拉伯语的分块和规范化。

分块只是一个调节手段。加上混合检索或重排序,往往比单纯调大小更有效。

在 BroadNet Inference 上

BroadNet 不提供嵌入端点,所以你要用自己的工具或其他服务商来分块和嵌入,再把检索到的块发给 BroadNet 的对话模型。长上下文模型改变了这种取舍:DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token,小型语料也许根本不需要检索就能放进去。长上下文与 RAG 对比比较了两种方式。

RAG 分块计算器可以按你的设置估算块数、索引大小和每次查询的 token 数,RAG 块大小与重叠则逐一讲解了已公开的测试。

常见问题

块大小从多少开始比较好?

没有唯一正确的值。先选一个起始大小,用真实问题和已知答案搭一个小测试集,比较两三种大小下的检索命中率。RAG 块大小一文汇总了已公开的测试结果。

重叠会让索引变大吗?

会。重叠的文本会被存储和嵌入不止一次,所以索引大小和嵌入成本会随重叠比例增长。

应该按字符分块还是按 token 分块?

按 token 设定大小,与嵌入模型和大模型实际计数的方式一致。按字符更简单,但同样数量的字符在不同语言里(包括阿拉伯语)可能对应差别很大的 token 数。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity