---
title: "Что такое квантизация INT4? 4-битные веса LLM | BroadRouter"
description: "INT4 хранит каждый вес LLM как 4-битное целое — четверть от 16-битного размера. Как работает 4-битная квантизация только весов, GPTQ и AWQ и чем она рискует."
url: https://broadrouter.com/ru/glossary/int4/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/int4/) (обновлён 2026-11-16).

# INT4

Обновлено 2026-11-16

INT4 — это 4-битный целочисленный формат, способный представить 16 уровней. В инференсе LLM под ним обычно понимают 4-битную квантизацию только весов (W4A16): веса хранятся в INT4 с коэффициентами масштабирования и разворачиваются в 16 бит во время вычислений, занимая примерно четверть памяти 16-битных весов.

Также называют: INT4, квантизация INT4, 4-битная квантизация, 4-битные веса, 4-битное целое, квантование в 4 бита, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 — это квантизация всерьёз: у каждого веса остаётся всего 16 возможных значений.

## Как это работает

Руководство TensorRT-LLM по точности описывает самый распространённый вариант, **W4A16**: веса квантизуются до 4 бит и деквантизуются “on-the-fly” (перевод: «на лету») внутри матричного умножения, а активации остаются в FP16 или BF16. TensorRT-LLM поддерживает коэффициенты масштабирования на группу: каждая небольшая группа весов получает собственный масштаб, чтобы 16 уровней покрывали нужный диапазон. Пример INT4 в vLLM сохраняет чекпоинт `W4A16-G128` — одна группа на 128 весов.

Простое округление до 16 уровней теряет слишком много, поэтому популярные методы действуют хитрее:

-   **GPTQ** использует приближённую информацию второго порядка, чтобы выбирать округления, ограничивающие ошибку на выходе. Статья сообщает о 3 или 4 битах на вес с пренебрежимо малыми потерями — этого достаточно, чтобы запустить модель на 175 млрд параметров на одном GPU.
-   **AWQ** исходит из того, что “not all weights in an LLM are equally important” (перевод: «не все веса LLM одинаково важны»). Защита примерно 1% значимых каналов, найденных по статистике активаций, сильно снижает ошибку. Её среда выполнения TinyChat показывает более чем трёхкратное ускорение 4-битных моделей на устройствах.

## Почему это важно

Экономия памяти большая. При 0,5 байта на вес веса модели занимают четверть своего 16-битного размера. Для модели на 25,2 млрд параметров: 25,2 млрд × 2 байта = 50,4 ГБ в BF16 против 25,2 млрд × 0,5 байта = 12,6 ГБ в INT4, плюс немного на коэффициенты масштабирования. Скорость генерации часто ограничена тем, как быстро веса читаются из памяти, поэтому 4-битные веса могут снизить и [задержку](https://broadrouter.com/ru/glossary/latency/). Документация vLLM говорит, что INT4 W4A16 полезнее всего для низкой задержки “in workloads with low queries per second” (перевод: «при нагрузке с небольшим числом запросов в секунду»). При высокой нагрузке затраты на деквантизацию весов становятся заметнее, и выигрыш уменьшается.

При всего 16 уровнях ошибка округления больше, чем у [FP8](https://broadrouter.com/ru/glossary/fp8/), — именно поэтому GPTQ и AWQ вообще появились. Средний балл на бенчмарке может скрывать потери на важных для вас задачах: длинных рассуждениях, точной арифметике, коде или менее распространённом языке. Если сборка INT4 на вашем тестовом наборе работает хуже 16-битной версии, верьте своему тесту.

Модели со [смесью экспертов](https://broadrouter.com/ru/glossary/mixture-of-experts/) — частые кандидаты на INT4: все эксперты должны помещаться в памяти, хотя на каждый токен работают лишь некоторые.

## В BroadNet Inference

[Каталог моделей](https://www.broadnet.ai/inference/models) BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B (ID в API — `broadnet/gemma-4-26b-a4b`) использует 4-битные веса AWQ, предсказание нескольких токенов (multi-token prediction) и KV-кэш в FP8. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если вы выбираете между самостоятельным хостингом 4-битной модели и вызовом API, сравнить итоговые суммы помогут [сравнение затрат на собственный хостинг](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) и [калькулятор стоимости LLM API](https://broadrouter.com/tools/llm-api-cost-calculator/).

## Вопросы и ответы

### Сколько памяти экономит INT4?

Каждый вес занимает полбайта вместо двух, то есть примерно четверть 16-битного размера плюс небольшие накладные расходы на коэффициенты масштабирования. Веса модели на 25,2 млрд параметров сокращаются примерно с 50,4 ГБ до 12,6 ГБ.

### INT4 — это то же самое, что NF4 или FP4?

Нет. Все три используют 4 бита, но NF4 и FP4 располагают свои 16 уровней неравномерно, а INT4 — равномерно. Интеграция bitsandbytes в Hugging Face предлагает FP4 и NF4; чекпоинты GPTQ и AWQ обычно используют INT4.

### Ускоряет ли INT4 модель?

Часто да, при низкой нагрузке: генерация упирается в чтение весов из памяти, а 4-битные веса меньше. Документация vLLM говорит, что INT4 W4A16 полезнее всего при небольшом числе запросов в секунду; под высокой нагрузкой выигрыш уменьшается.

## См. также

-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [FP8](https://broadrouter.com/ru/glossary/fp8/) (термин)
-   [Смесь экспертов (mixture of experts, MoE)](https://broadrouter.com/ru/glossary/mixture-of-experts/) (термин)
-   [Задержка (latency)](https://broadrouter.com/ru/glossary/latency/) (термин)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ru/glossary/awq/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-int4&utm_content=page-cta) ·

**Источники**

-   [Каталог моделей BroadNet (Gemma 4 26B A4B, AWQ 4 бита) (на английском)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, точность вычислений (INT4 и INT8 только для весов)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin и др., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar и др., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Документация vLLM, квантизация INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Документация Hugging Face Transformers, bitsandbytes (4-битные типы NF4 и FP4) (проверено 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
