检索器没法只返回半篇文档。分块决定了文档被切成哪些片段。
工作原理
LangChain 的文档把目的说得很简单:文本分割器 “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”(译文:把大文档拆成更小的块,每块都能单独检索,并且能放进模型上下文窗口的限制之内。)然后每个块被转换成嵌入向量,存进向量数据库,或者建成关键词索引。
大多数分块器由两个数字控制:
- 块大小(chunk size):一个块的最大长度,按字符或 token 计。
- 块重叠(chunk overlap):上一个块末尾有多少文本会在下一个块开头重复。
各种分割器在哪里下刀也不同。LangChain 建议大多数情况先用它的递归分割器。它会尽量保持段落这样的大单元完整,单元太大时再退而按句子、再按词切分。LlamaIndex 的 SentenceSplitter 按句子边界切分;它的文档展示了显式设置的写法:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
算一笔账:一个 100,000 token 的语料,切成 500 token 的块、重叠 50 token,大约得到 222 个块(每个新块增加 450 个新 token),需要嵌入约 111,000 个 token,比不重叠多 11%。
为什么重要
- 召回率。 块太小会丢失上下文;块太大,匹配内容会被无关文本稀释。
- 大模型成本。 检索到的块作为输入 token 发送。五个 1,000 token 的块,会让每个问题多出 5,000 个输入 token。
- 索引成本。 重叠和小块都会增加需要嵌入和存储的向量数量。
- 语言。 阿拉伯语单词可能带有附着成分和变音符号,会改变 token 数和匹配结果。阿拉伯语 RAG 搜索介绍了阿拉伯语的分块和规范化。
分块只是一个调节手段。加上混合检索或重排序,往往比单纯调大小更有效。
在 BroadNet Inference 上
BroadNet 不提供嵌入端点,所以你要用自己的工具或其他服务商来分块和嵌入,再把检索到的块发给 BroadNet 的对话模型。长上下文模型改变了这种取舍:DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token,小型语料也许根本不需要检索就能放进去。长上下文与 RAG 对比比较了两种方式。
RAG 分块计算器可以按你的设置估算块数、索引大小和每次查询的 token 数,RAG 块大小与重叠则逐一讲解了已公开的测试。