---
title: "Размер чанка и перекрытие в RAG: поиск и расход токенов"
description: "Как размер чанка и перекрытие меняют полноту RAG, размер индекса, стоимость эмбеддингов и число токенов в каждом запросе к LLM: опубликованные тесты и расчёты."
url: https://broadrouter.com/ru/blog/rag-chunk-size-overlap/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/rag-chunk-size-overlap/) (обновлён 2026-11-16).

# Размер чанка и перекрытие в RAG: как они влияют на поиск и цену

Команда BroadNet Inference · 7 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

Начните с чанков примерно по 256–512 токенов, перекрытия 0–15% и top-k, подобранного на ваших запросах. Крупные чанки увеличивают число токенов, которое каждый запрос отправляет в LLM. Перекрытие умножает число токенов, которые вы эмбеддите и храните, на размер ÷ (размер − перекрытие), так что перекрытие 50% удваивает индекс. В опубликованных тестах небольшие чанки или чанки без перекрытия часто давали такую же или лучшую полноту.

## Главное

-   Вход на запрос — это примерно top-k × размер чанка + промпт. Переход с 5 × 400 на 8 × 1024 токена увеличивает вход каждого запроса примерно в 3,4 раза.
-   Перекрытие раздувает индекс в размер ÷ (размер − перекрытие) раз: перекрытие 15% добавляет до 18% (17% на измеренных здесь документах по 10 000 токенов), а 50% удваивает его.
-   В оценке Chroma 2024 года чанки по 200–400 токенов без перекрытия не уступали или превосходили чанки по 800 токенов с перекрытием 400 — это настройка по умолчанию в file search от OpenAI.
-   Тесты NVIDIA 2025 года не нашли единственного лучшего размера: для фактологических вопросов лучше подходили 256–512 токенов, для аналитических — 1024 токена или страница.
-   Считайте размер чанка в токенах вашей модели эмбеддингов. Некоторые сплиттеры по умолчанию считают символы.

**На этой странице**

1.  На что влияют размер чанка и перекрытие?
2.  Что говорят опубликованные тесты о размере чанка?
3.  Насколько перекрытие раздувает индекс?
4.  Как размер чанка влияет на счёт за LLM?
5.  Как резать по токенам и не разрывать слова?
6.  Как подобрать числа под свои данные?
7.  Место BroadNet Inference

Размер чанка и перекрытие — два числа, которые каждый RAG-конвейер задаёт в самом начале и редко пересматривает. Они определяют, сколько векторов вы храните, сколько токенов эмбеддите, сколько токенов каждый вопрос отправляет в LLM и найдётся ли нужный фрагмент вообще. В этой статье — что показали опубликованные тесты, а затем расчёт токенов, чтобы вы увидели цену каждой настройки до того, как что-то эмбеддить.

Если вы ещё решаете, нужен ли RAG вообще, начните со статьи [длинный контекст или RAG](https://broadrouter.com/ru/blog/long-context-vs-rag/). Для документов на арабском читайте вместе с этой статьёй [RAG на арабском](https://broadrouter.com/ru/blog/arabic-rag-search/) и [нормализацию арабского текста](https://broadrouter.com/ru/blog/arabic-text-normalization-search/).

## На что влияют размер чанка и перекрытие?

-   **Размер чанка** — сколько токенов входит в каждый фрагмент, который вы эмбеддите и находите.
-   **Перекрытие** — сколько токенов у соседних чанков общие, чтобы предложение, разрезанное на границе, целиком попало хотя бы в один чанк.
-   **Top-k** — сколько чанков вы находите на один вопрос.

Вместе они задают четыре величины:

| Величина | Формула (длинные документы) |
| --- | --- |
| Хранимые чанки | токены корпуса ÷ (размер − перекрытие) |
| Эмбеддируемые токены | токены корпуса × размер ÷ (размер − перекрытие) |
| Контекст на запрос | top-k × размер |
| Вход LLM на запрос | top-k × размер + системный промпт + вопрос |

Первые две оплачиваются один раз за индексацию и снова при каждом перечанкинге. Последняя оплачивается на каждом вопросе, всегда.

## Что говорят опубликованные тесты о размере чанка?

Стоит знать две публичные оценки, потому что они измеряли разное.

**Chroma (Smith и Troynikov, июль 2024)** измеряла поиск на уровне токенов: какую долю релевантного текста удалось найти (полнота) и какая доля найденного была релевантной. Использовались пять найденных чанков и text-embedding-3-large от OpenAI. Выбранные строки:

| Сплиттер | Размер (токены) | Перекрытие | Полнота | IoU |
| --- | --- | --- | --- | --- |
| Recursive | 800 | 400 | 85,4% | 1,5% |
| Token | 800 | 400 | 87,9% | 1,4% |
| Recursive | 400 | 200 | 88,1% | 3,3% |
| Recursive | 400 | 0 | 89,5% | 3,6% |
| Recursive | 200 | 0 | 88,1% | 6,9% |

IoU (intersection over union, пересечение над объединением) показывает, какая доля найденного текста релевантна, так что это заодно и мера впустую потраченных токенов. Строки 800/400 соответствуют настройке по умолчанию в file search от OpenAI; если считать, что там токенный сплиттер, Chroma нашла, что эта настройка дала полноту чуть ниже средней и самые низкие оценки по остальным метрикам. Чанки поменьше без перекрытия находили столько же или больше и несли гораздо меньше нерелевантного текста.

**NVIDIA (июнь 2025)** измеряла точность итоговых ответов на пяти датасетах с токенными чанками от 128 до 2048 при перекрытии 15%, а также с чанкингом по страницам и по разделам. У чанкинга по страницам была самая высокая средняя точность (0,648) и самый низкий разброс. Лучший токенный размер зависел от вопросов: для фактологических наборов лучше подходили 256–512 токенов, для аналитических — 1024 токена или целые страницы. Обе крайности, 128 и 2048, обычно работали хуже.

В одном оценки сходятся: **универсального лучшего размера нет**, а очень крупные чанки с большим перекрытием редко бывают правильной настройкой по умолчанию.

## Насколько перекрытие раздувает индекс?

Каждый чанк сдвигается на размер − перекрытие токенов, так что индекс содержит размер ÷ (размер − перекрытие) копий корпуса. Для корпуса в 2 000 000 токенов из документов по 10 000 токенов:

| Размер | Перекрытие | Чанки | Эмбеддируемые токены | Раздувание |
| --- | --- | --- | --- | --- |
| 200 | 0 | 10 000 | 2 000 000 | 1,00× |
| 400 | 0 | 5000 | 2 000 000 | 1,00× |
| 512 | 77 (15%) | 4600 | 2 338 800 | 1,17× |
| 1024 | 154 (15%) | 2400 | 2 338 800 | 1,17× |
| 800 | 400 (50%) | 4800 | 3 840 000 | 1,92× |
| 400 | 200 (50%) | 9800 | 3 920 000 | 1,96× |

Короткие документы раздуваются чуть меньше, потому что последний чанк каждого из них неполный. Формула даёт предел: перекрытие 15% стоит примерно на 18% больше, а 50% — примерно на 100% больше по эмбеддируемым токенам, хранению векторов и времени переиндексации.

Перекрытие стоит денег и во время запроса. При перекрытии 50% два соседних чанка, найденные по одному вопросу, повторяют половину текста. Вы платите за эти дублирующиеся токены, и они вытесняют из top-k другие релевантные фрагменты.

BroadNet не продаёт эмбеддинги, так что эта часть счёта идёт вашему провайдеру эмбеддингов. Посчитайте её в [калькуляторе стоимости эмбеддингов](https://broadrouter.com/tools/embedding-cost-calculator/).

## Как размер чанка влияет на счёт за LLM?

Каждый вопрос отправляет top-k чанков и промпт. Возьмём 100 000 вопросов в месяц, 600 токенов на системный промпт и вопрос и одинаковый ответ на 300 токенов:

| Размер × top-k | Контекст на запрос | Вход на запрос | Вход в месяц |
| --- | --- | --- | --- |
| 200 × 10 | 2000 | 2600 | 260 млн |
| 400 × 5 | 2000 | 2600 | 260 млн |
| 512 × 5 | 2560 | 3160 | 316 млн |
| 800 × 5 | 4000 | 4600 | 460 млн |
| 1024 × 5 | 5120 | 5720 | 572 млн |
| 1024 × 8 | 8192 | 8792 | 879 млн |

Выход во всех строках — 30 млн токенов в месяц, так что меняется только вход. При цене за 1 млн токенов месячная стоимость входа — это число миллионов из последнего столбца, умноженное на эту цену. На [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) по $0.10 за 1 млн входных токенов конфигурация 1024 × 8 стоит 879 × $0.10 в месяц за вход против 260 × $0.10 для 400 × 5. Это в 3,4 раза больше — за настройку, которая в опубликованных тестах не показывает лучшей полноты. На [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) (вход $0.175) или [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) (вход $0.78) соотношение то же, а итоговые суммы больше.

Два рычага сдвигают это сильнее, чем цена модели:

1.  **Увеличивая размер, уменьшайте k.** 200 × 10 и 400 × 5 отправляют одинаковый контекст. Пока тестируете размеры, держите контекст на запрос примерно постоянным, чтобы сравнивать качество поиска, а не бюджет контекста.
2.  **Кэшируйте неизменную часть.** Ставьте системный промпт первым и держите его побайтово идентичным, чтобы на моделях, где есть ставка [входа из кэша](https://broadrouter.com/ru/blog/cached-input-tokens-explained/), он тарифицировался по ней. Найденные чанки меняются от вопроса к вопросу и кэшируются редко.

Лимиты контекста тоже важны. Gemma 4 VL 26B принимает 32 768 токенов на запрос — с избытком для любой строки выше. Если вы доводите k × размер до десятков тысяч токенов, вы уже движетесь от RAG к [длинному контексту](https://broadrouter.com/ru/blog/long-context-vs-rag/), а у этого сравнения своя арифметика. [Калькулятор чанкинга для RAG](https://broadrouter.com/tools/rag-chunking-calculator/) считает эти формулы для вашего корпуса, размера чанка, перекрытия и top-k.

## Как резать по токенам и не разрывать слова?

Считайте в токенах, а режьте по структуре. `RecursiveCharacterTextSplitter` в LangChain измеряет размер через `length_function`, а по умолчанию это длина в символах. Тогда «размер» 512 — это 512 символов, примерно 100–150 токенов английского текста и снова другое число для арабского; см. [токены на слово в арабском](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/). Лимиты эмбеддингов и счета за LLM — в токенах.

Этот чанкер упаковывает целые абзацы до бюджета токенов и переносит последние абзацы вперёд как перекрытие. Резка по границам абзацев не разрывает слова и многобайтовые арабские символы, что могут сделать «сырые» окна токенов.

```python
import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
```

Перекрытие здесь — «не больше чем»: абзац длиннее бюджета перекрытия не повторяется. Отдельный абзац длиннее `size` остаётся целым; если в ваших документах такие есть, сначала разбейте их по предложениям. Добавляйте в начало каждого чанка название документа и заголовок раздела, чтобы найденный чанк сам говорил, о чём он. Это добавляет несколько токенов на чанк и часто помогает больше, чем перекрытие.

## Как подобрать числа под свои данные?

1.  **Соберите набор для оценки.** 50–200 реальных вопросов, к каждому — фрагмент, который на него отвечает. Как считать оценки, описано в [руководстве по оценке LLM](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/).
2.  **Зафиксируйте бюджет контекста.** Держите k × размер около одного значения, например 2000 токенов, пока сравниваете размеры.
3.  **Попробуйте три размера и два перекрытия.** Например, 256, 512 и 1024 токена, каждый с перекрытием 0 и 15%. Измеряйте, находится ли нужный фрагмент в top-k.
4.  **Попробуйте структуру.** Если в документах есть страницы или нумерованные разделы, сравните чанки по страницам или разделам с токенными размерами. У NVIDIA чанкинг по страницам оказался самым стабильным.
5.  **Выберите самую дешёвую настройку в пределах одного-двух пунктов от лучшей полноты,** а затем посчитайте её стоимость при вашем объёме запросов [методом оценки месячных расходов](https://broadrouter.com/ru/blog/estimate-llm-api-cost-before-launch/).

Делайте это на выборке, прежде чем эмбеддить весь корпус. Сменить чанкинг потом — значит заново эмбеддить всё.

## Место BroadNet Inference

BroadNet Inference обслуживает в RAG шаг ответа, а не поиск. Эмбеддингов и векторного хранилища BroadNet не продаёт, так что сочетайте его с провайдером эмбеддингов и векторной базой данных на ваш выбор. Для ответа Gemma 4 VL 26B — недорогой вариант, который работает на стартовом гранте $5. Qwen3.8 27B (контекст 262 144 токена) и GLM 5.3 (1 048 576) подходят для большего top-k или длинных документов — после пополнения баланса. Промпты и найденные фрагменты не хранятся после запроса. Если ваш корпус достаточно мал и стабилен, чтобы поместиться в контекстное окно, [длинный контекст](https://broadrouter.com/ru/blog/long-context-vs-rag/) может оказаться лучше чанкинга вообще.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Чанкинг (chunking) в RAG](https://broadrouter.com/ru/glossary/chunking/)

Чанкинг — это шаг конвейера поиска, на котором документы разбиваются на небольшие фрагменты, чанки, перед векторизацией и индексацией. Размер чанка задаёт, сколько текста в каждом фрагменте, а перекрытие повторяет часть текста между соседними чанками, чтобы мысль, разрезанная границей, не потерялась.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Eval (оценка LLM)](https://broadrouter.com/ru/glossary/eval/)

Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.

## Вопросы и ответы

### Какой размер чанка выбрать для RAG?

Начните примерно с 256–512 токенов и тестируйте. В оценке Chroma хорошо показали себя 200–400 токенов без перекрытия. NVIDIA выяснила, что 256–512 токенов подходят для фактологических вопросов, а аналитические лучше работают с чанками по 1024 токена или размером в страницу.

### Какое перекрытие чанков ставить?

Меньше, чем в большинстве настроек по умолчанию. NVIDIA на одном датасете из вариантов 10%, 15% и 20% лучшим нашла 15%. Chroma обнаружила, что варианты без перекрытия часто давали такой же или лучший результат. Каждый процент перекрытия добавляет токены, которые нужно эмбеддить, хранить и отправлять.

### Крупный чанк обходится дороже?

На эмбеддинги — нет, если нет перекрытия: в корпусе столько же токенов. Дороже обходится каждый запрос, потому что каждый найденный чанк длиннее и top-k × размер чанка растёт. Увеличивая размер, уменьшайте k.

### Размер чанка считается в токенах или в символах?

Зависит от сплиттера. RecursiveCharacterTextSplitter в LangChain измеряет через length\_function, а по умолчанию это длина в символах. Лимиты эмбеддингов и счета за LLM — в токенах, поэтому передайте счётчик токенов.

### Нужно ли заново считать эмбеддинги при смене размера чанка?

Да. Новые границы дают новые чанки, и каждому нужен новый вектор. Повторный расчёт эмбеддингов стоит столько же, сколько весь индекс, поэтому определитесь с чанкингом на выборке, прежде чем эмбеддить весь корпус.

## Читайте также

-   [Длинный контекст или RAG: когда 1 млн токенов заменяет векторную БД](https://broadrouter.com/ru/blog/long-context-vs-rag/)
-   [RAG на арабском: нормализация, чанкинг и поиск, который работает](https://broadrouter.com/ru/blog/arabic-rag-search/)
-   [Нормализация арабского текста для поиска и RAG: что менять, а что нет](https://broadrouter.com/ru/blog/arabic-text-normalization-search/)
-   [Как рассчитать стоимость LLM API до запуска функции](https://broadrouter.com/ru/blog/estimate-llm-api-cost-before-launch/)
-   [Кэшированные входные токены: как снизить счёт за LLM API](https://broadrouter.com/ru/blog/cached-input-tokens-explained/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-rag-chunk-size-overlap&utm_content=page-cta) ·

**Источники**

-   [Smith и Troynikov, Evaluating Chunking Strategies for Retrieval, технический отчёт Chroma, июль 2024 (проверено 2026-11-15)](https://research.trychroma.com/evaluating-chunking)
-   [Технический блог NVIDIA, Finding the Best Chunking Strategy for Accurate AI Responses, июнь 2025 (проверено 2026-11-15)](https://developer.nvidia.com/blog/finding-the-best-chunking-strategy-for-accurate-ai-responses/)
-   [OpenAI, руководство по retrieval: по умолчанию чанки по 800 токенов с перекрытием 400, ограничения chunking\_strategy (проверено 2026-11-15)](https://developers.openai.com/api/docs/guides/retrieval)
-   [Документация LangChain, RecursiveCharacterTextSplitter: размер чанка измеряется через length\_function, по умолчанию в символах (проверено 2026-11-15)](https://docs.langchain.com/oss/python/integrations/splitters/recursive_text_splitter)
-   [Цены и справочник API BroadNet Inference: модели, длины контекста, вход из кэша (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-rag-chunk-size-overlap&utm_content=sources)
