Ретривер не может вернуть половину документа. Какими будут куски, решает чанкинг.
Как это работает
Документация LangChain формулирует цель просто: разделители текста “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (перевод: «разбивают большие документы на меньшие чанки, которые можно находить по отдельности и которые помещаются в контекстное окно модели».) Затем каждый чанк превращается в эмбеддинги и сохраняется в векторной базе данных или индексируется для поиска по ключевым словам.
Большинством чанкеров управляют два числа:
- Размер чанка: максимальная длина чанка в символах или токенах.
- Перекрытие чанков: сколько текста из конца одного чанка повторяется в начале следующего.
Разделители различаются и тем, где режут. LangChain рекомендует в большинстве случаев начинать с рекурсивного разделителя. Он старается сохранять целыми крупные единицы, например абзацы, а если единица слишком велика, переходит к предложениям, затем к словам. SentenceSplitter из LlamaIndex работает по границам предложений; в документации он показан с явными настройками:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Пример на числах: корпус из 100 000 токенов, разбитый на чанки по 500 токенов с перекрытием 50 токенов, даёт около 222 чанков (каждый новый чанк добавляет 450 новых токенов) и около 111 000 токенов на векторизацию — на 11% больше, чем без перекрытия.
Почему это важно
- Полнота поиска. Слишком мелкие чанки теряют контекст; слишком крупные размывают совпадение посторонним текстом.
- Стоимость LLM. Найденные чанки отправляются как входные токены. Пять чанков по 1000 токенов добавляют 5000 входных токенов к каждому вопросу.
- Стоимость индекса. И перекрытие, и мелкие чанки увеличивают число векторов, которые нужно посчитать и хранить.
- Язык. Арабские слова могут нести клитики и огласовки, которые меняют число токенов и сопоставление. Чанкинг и нормализация для арабского разобраны в статье о поиске для арабского RAG.
Чанкинг — лишь один рычаг. Гибридный поиск или реранкер часто помогают больше, чем подбор одного только размера.
В BroadNet Inference
Эндпоинта для эмбеддингов у BroadNet нет, поэтому разбиение и векторизацию вы делаете своими инструментами или у другого провайдера, а найденные чанки отправляете чат-модели BroadNet. Модели с длинным контекстом меняют баланс: DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов, так что небольшой корпус может поместиться вообще без поиска. Статья «Длинный контекст или RAG» сравнивает оба подхода.
Калькулятор чанкинга для RAG оценивает число чанков, размер индекса и число токенов на запрос при ваших настройках, а статья о размере чанков и перекрытии в RAG разбирает опубликованные тесты.