---
title: "什么是 RAG 文本分块？chunk size 与 overlap 详解 | BroadRouter"
description: "分块把文档切成 RAG 系统可以嵌入、索引和检索的片段。块大小和重叠如何起作用、常见设置，以及成本上的取舍。"
url: https://broadrouter.com/zh/glossary/chunking/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/chunking/) (2026-11-15 更新).

# 文本分块（chunking）

更新于 2026-11-15

分块是检索流水线中把文档切成较小片段（称为块，chunk）的步骤，在嵌入和建索引之前进行。块大小决定每个片段容纳多少文本，块重叠则让相邻的块重复一部分文本，避免在边界处被切断的内容丢失。

又称： 文本分块、文档分块、分块策略、切片、文档切片、块大小、块重叠、chunk size、chunk overlap、text chunking、document chunking、chunking strategy、chunking

检索器没法只返回半篇文档。分块决定了文档被切成哪些片段。

## 工作原理

LangChain 的文档把目的说得很简单：文本分割器 “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”（译文：把大文档拆成更小的块，每块都能单独检索，并且能放进模型上下文窗口的限制之内。）然后每个块被转换成[嵌入向量](https://broadrouter.com/zh/glossary/embeddings/)，存进[向量数据库](https://broadrouter.com/zh/glossary/vector-database/)，或者建成关键词索引。

大多数分块器由两个数字控制：

-   **块大小（chunk size）**：一个块的最大长度，按字符或 token 计。
-   **块重叠（chunk overlap）**：上一个块末尾有多少文本会在下一个块开头重复。

各种分割器在哪里下刀也不同。LangChain 建议大多数情况先用它的递归分割器。它会尽量保持段落这样的大单元完整，单元太大时再退而按句子、再按词切分。LlamaIndex 的 `SentenceSplitter` 按句子边界切分；它的文档展示了显式设置的写法：

```python
from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
```

算一笔账：一个 100,000 token 的语料，切成 500 token 的块、重叠 50 token，大约得到 222 个块（每个新块增加 450 个新 token），需要嵌入约 111,000 个 token，比不重叠多 11%。

## 为什么重要

-   **召回率。** 块太小会丢失上下文；块太大，匹配内容会被无关文本稀释。
-   **大模型成本。** 检索到的块作为输入 token 发送。五个 1,000 token 的块，会让每个问题多出 5,000 个输入 token。
-   **索引成本。** 重叠和小块都会增加需要嵌入和存储的向量数量。
-   **语言。** 阿拉伯语单词可能带有附着成分和变音符号，会改变 token 数和匹配结果。[阿拉伯语 RAG 搜索](https://broadrouter.com/zh/blog/arabic-rag-search/)介绍了阿拉伯语的分块和规范化。

分块只是一个调节手段。加上[混合检索](https://broadrouter.com/zh/glossary/hybrid-search/)或[重排序](https://broadrouter.com/zh/glossary/reranking/)，往往比单纯调大小更有效。

## 在 BroadNet Inference 上

BroadNet 不提供嵌入端点，所以你要用自己的工具或其他服务商来分块和嵌入，再把检索到的块发给 BroadNet 的对话模型。长上下文模型改变了这种取舍：[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 和 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 支持 1,048,576 个 token，小型语料也许根本不需要检索就能放进去。[长上下文与 RAG 对比](https://broadrouter.com/zh/blog/long-context-vs-rag/)比较了两种方式。

[RAG 分块计算器](https://broadrouter.com/tools/rag-chunking-calculator/)可以按你的设置估算块数、索引大小和每次查询的 token 数，[RAG 块大小与重叠](https://broadrouter.com/zh/blog/rag-chunk-size-overlap/)则逐一讲解了已公开的测试。

## 常见问题

### 块大小从多少开始比较好？

没有唯一正确的值。先选一个起始大小，用真实问题和已知答案搭一个小测试集，比较两三种大小下的检索命中率。RAG 块大小一文汇总了已公开的测试结果。

### 重叠会让索引变大吗？

会。重叠的文本会被存储和嵌入不止一次，所以索引大小和嵌入成本会随重叠比例增长。

### 应该按字符分块还是按 token 分块？

按 token 设定大小，与嵌入模型和大模型实际计数的方式一致。按字符更简单，但同样数量的字符在不同语言里（包括阿拉伯语）可能对应差别很大的 token 数。

## 另请参阅

-   [RAG（检索增强生成）](https://broadrouter.com/zh/glossary/rag/) (术语)
-   [嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/) (术语)
-   [向量数据库（vector database）](https://broadrouter.com/zh/glossary/vector-database/) (术语)
-   [混合检索（hybrid search）](https://broadrouter.com/zh/glossary/hybrid-search/) (术语)
-   [重排序（reranking）](https://broadrouter.com/zh/glossary/reranking/) (术语)
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/) (术语)
-   [通过 OpenAILike 在 LlamaIndex 中使用 BroadNet Inference](https://broadrouter.com/zh/guides/llamaindex-openailike/) (指南)
-   [在 LangChain 中调用 BroadNet Inference](https://broadrouter.com/zh/guides/langchain-openai-base-url/) (指南)
-   [RAG 分块大小与重叠：对检索效果和成本的影响](https://broadrouter.com/zh/blog/rag-chunk-size-overlap/) (文章)
-   [阿拉伯语 RAG：真正有效的规范化、分块与检索](https://broadrouter.com/zh/blog/arabic-rag-search/) (文章)
-   [长上下文还是 RAG：百万 token 什么时候能取代向量数据库](https://broadrouter.com/zh/blog/long-context-vs-rag/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-chunking&utm_content=page-cta) ·

**来源**

-   [LangChain 文档：文本分割器（2026-11-15 查阅）](https://docs.langchain.com/oss/python/integrations/splitters)
-   [LlamaIndex 文档：节点解析器用法（SentenceSplitter）（2026-11-15 查阅）](https://developers.llamaindex.ai/python/framework/module_guides/loading/node_parsers/)
