BroadRouter
Начать

Чанкинг (chunking) в RAG

Обновлено

Чанкинг — это шаг конвейера поиска, на котором документы разбиваются на небольшие фрагменты, чанки, перед векторизацией и индексацией. Размер чанка задаёт, сколько текста в каждом фрагменте, а перекрытие повторяет часть текста между соседними чанками, чтобы мысль, разрезанная границей, не потерялась.

Также называют: чанкинг, чанки, разбиение на чанки, разбиение текста, нарезка документов, размер чанка, перекрытие чанков, chunking, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Ретривер не может вернуть половину документа. Какими будут куски, решает чанкинг.

Как это работает

Документация LangChain формулирует цель просто: разделители текста “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (перевод: «разбивают большие документы на меньшие чанки, которые можно находить по отдельности и которые помещаются в контекстное окно модели».) Затем каждый чанк превращается в эмбеддинги и сохраняется в векторной базе данных или индексируется для поиска по ключевым словам.

Большинством чанкеров управляют два числа:

  • Размер чанка: максимальная длина чанка в символах или токенах.
  • Перекрытие чанков: сколько текста из конца одного чанка повторяется в начале следующего.

Разделители различаются и тем, где режут. LangChain рекомендует в большинстве случаев начинать с рекурсивного разделителя. Он старается сохранять целыми крупные единицы, например абзацы, а если единица слишком велика, переходит к предложениям, затем к словам. SentenceSplitter из LlamaIndex работает по границам предложений; в документации он показан с явными настройками:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Пример на числах: корпус из 100 000 токенов, разбитый на чанки по 500 токенов с перекрытием 50 токенов, даёт около 222 чанков (каждый новый чанк добавляет 450 новых токенов) и около 111 000 токенов на векторизацию — на 11% больше, чем без перекрытия.

Почему это важно

  • Полнота поиска. Слишком мелкие чанки теряют контекст; слишком крупные размывают совпадение посторонним текстом.
  • Стоимость LLM. Найденные чанки отправляются как входные токены. Пять чанков по 1000 токенов добавляют 5000 входных токенов к каждому вопросу.
  • Стоимость индекса. И перекрытие, и мелкие чанки увеличивают число векторов, которые нужно посчитать и хранить.
  • Язык. Арабские слова могут нести клитики и огласовки, которые меняют число токенов и сопоставление. Чанкинг и нормализация для арабского разобраны в статье о поиске для арабского RAG.

Чанкинг — лишь один рычаг. Гибридный поиск или реранкер часто помогают больше, чем подбор одного только размера.

В BroadNet Inference

Эндпоинта для эмбеддингов у BroadNet нет, поэтому разбиение и векторизацию вы делаете своими инструментами или у другого провайдера, а найденные чанки отправляете чат-модели BroadNet. Модели с длинным контекстом меняют баланс: DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов, так что небольшой корпус может поместиться вообще без поиска. Статья «Длинный контекст или RAG» сравнивает оба подхода.

Калькулятор чанкинга для RAG оценивает число чанков, размер индекса и число токенов на запрос при ваших настройках, а статья о размере чанков и перекрытии в RAG разбирает опубликованные тесты.

Вопросы и ответы

С какого размера чанка начать?

Единственно верного значения нет. Выберите стартовый размер, соберите небольшой тестовый набор реальных вопросов с известными ответами и сравните долю попаданий поиска при двух-трёх размерах. Опубликованные результаты собраны в статье о размере чанков для RAG.

Увеличивает ли перекрытие индекс?

Да. Перекрывающийся текст хранится и векторизуется больше одного раза, поэтому размер индекса и затраты на эмбеддинги растут вместе с долей перекрытия.

Резать по символам или по токенам?

Размеры в токенах совпадают с тем, что реально считают модель эмбеддингов и LLM. Размеры в символах проще, но одно и то же число символов в разных языках, включая арабский, может давать очень разное число токенов.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity