---
title: "Что такое квантизация LLM? Меньше бит на вес | BroadRouter"
description: "Квантизация хранит веса LLM, а иногда и активации, в меньшем числе бит, чтобы экономить память GPU и ускорять инференс. Форматы, расчёт памяти и потери качества."
url: https://broadrouter.com/ru/glossary/quantization/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/quantization/) (обновлён 2026-11-14).

# Квантизация (quantization)

Обновлено 2026-11-14

Квантизация — это хранение чисел нейросети, в первую очередь её весов, в формате пониженной точности, например 8- или 4-битном вместо 16-битного, чтобы модель занимала меньше памяти и часто работала быстрее. Хорошие методы сохраняют потерю точности небольшой.

Также называют: квантование, квантование модели, квантизация модели, квантизация LLM, квантованная модель, квантизованная модель, quantization, model quantization, LLM quantization, quantized model, weight quantization

Большинство открытых моделей выходят с 16-битными весами. Квантизация ужимает эти числа, чтобы модель помещалась на меньшее число GPU.

## Как это работает

Hugging Face описывает квантизацию как “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (перевод: «представление весов и активаций типами данных пониженной точности, например 8-битными целыми (int8)»). Каждый блок весов получает масштабный коэффициент. Веса округляются до небольшого набора уровней, а во время работы снова умножаются на этот коэффициент.

Память под веса пропорциональна числу бит на параметр. Возьмём Gemma 4 26B A4B от Google, у которой 25,2 млрд параметров:

| Точность | Байт на вес | Только веса |
| --- | --- | --- |
| 16 бит (BF16) | 2 | 25,2 млрд × 2 = 50,4 ГБ |
| 8 бит ([FP8](https://broadrouter.com/ru/glossary/fp8/) или INT8) | 1 | 25,2 ГБ |
| 4 бита ([INT4](https://broadrouter.com/ru/glossary/int4/)) | 0,5 | 12,6 ГБ |

[KV-кэшу](https://broadrouter.com/ru/glossary/kv-cache/) и активациям нужно место сверх этого.

Методы различаются тем, что именно квантизуется и как выбираются уровни:

-   **LLM.int8()** вдвое сокращает память для инференса и оставляет несколько признаков-выбросов в 16 битах; по данным статьи, более 99,9% значений всё равно считаются в 8-битной арифметике.
-   **GPTQ** — однопроходный метод для весов, который доходит до 3 или 4 бит на вес с “negligible accuracy degradation” (перевод: «пренебрежимо малым падением точности») и квантизует модель на 175 млрд параметров примерно за четыре GPU-часа.
-   **Только веса или веса и активации.** Форматы только для весов экономят память. Если квантизовать ещё и активации, на поддерживающем это железе ускоряются и матричные вычисления.

## Почему это важно

Для того, кто вызывает API, квантизация в запросе незаметна, но проявляется в трёх местах. Цена: меньшим моделям нужно меньше GPU, и обслуживание дешевеет. Скорость: генерация часто упирается в пропускную способность памяти, поэтому меньше байт на вес может означать больше [токенов в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/). Качество: меньше бит — больше ошибок округления, и модель может сохранить средний балл, но просесть именно на тех задачах, которые важны вам.

Если два провайдера отдают «одну и ту же» открытую модель, а результаты у вас разные, одна из вероятных причин — точность.

## В BroadNet Inference

Справочник API BroadNet не указывает точность, с которой обслуживаются модели. В каталоге моделей продакшен-сборка Gemma 4 26B A4B, доступная как [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/), указана с весами AWQ в 4 битах и KV-кэшем в FP8. Точность в API для остальных моделей не указана. Если точность для вас важна, прогоните один и тот же набор для оценки у каждого провайдера; как это сделать, описано в [чек-листе оценки модели перед переходом](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/).

## Вопросы и ответы

### Ухудшает ли квантизация модель?

Иногда немного. Авторы LLM.int8() сообщают об отсутствии деградации при 8-битном инференсе вплоть до 175 млрд параметров, а авторы GPTQ — о пренебрежимо малых потерях при 3 или 4 битах на вес. Чем меньше бит и сложнее задача, тем выше риск, поэтому проверяйте на своих промптах.

### Можно ли понять, что API отдаёт квантизованную модель?

Обычно только если провайдер сам об этом говорит. Формат ответа API в обоих случаях одинаков, поэтому сравнивайте результаты на своих тестах и спрашивайте провайдера, какую точность он использует.

### Сколько памяти экономит квантизация?

Память под веса пропорциональна числу бит на вес. Модели на 25,2 млрд параметров нужно около 50,4 ГБ в 16 битах, 25,2 ГБ в 8 битах и 12,6 ГБ в 4 битах — без учёта KV-кэша и активаций.

## См. также

-   [FP8](https://broadrouter.com/ru/glossary/fp8/) (термин)
-   [INT4](https://broadrouter.com/ru/glossary/int4/) (термин)
-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [Смесь экспертов (mixture of experts, MoE)](https://broadrouter.com/ru/glossary/mixture-of-experts/) (термин)
-   [Модель с открытыми весами (open-weight model)](https://broadrouter.com/ru/glossary/open-weight-model/) (термин)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ru/glossary/awq/) (термин)
-   [GGUF](https://broadrouter.com/ru/glossary/gguf/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-quantization&utm_content=page-cta) ·

**Источники**

-   [Hugging Face Transformers, справочник по квантизации](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers и др., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar и др., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, карточка модели Gemma 4 26B A4B (число параметров)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Каталог моделей BroadNet (лабораторные измерения, сентябрь 2026) (на английском)](https://www.broadnet.ai/inference/models)
