BroadRouter
Начать

INT4

Обновлено

INT4 — это 4-битный целочисленный формат, способный представить 16 уровней. В инференсе LLM под ним обычно понимают 4-битную квантизацию только весов (W4A16): веса хранятся в INT4 с коэффициентами масштабирования и разворачиваются в 16 бит во время вычислений, занимая примерно четверть памяти 16-битных весов.

Также называют: INT4, квантизация INT4, 4-битная квантизация, 4-битные веса, 4-битное целое, квантование в 4 бита, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 — это квантизация всерьёз: у каждого веса остаётся всего 16 возможных значений.

Как это работает

Руководство TensorRT-LLM по точности описывает самый распространённый вариант, W4A16: веса квантизуются до 4 бит и деквантизуются “on-the-fly” (перевод: «на лету») внутри матричного умножения, а активации остаются в FP16 или BF16. TensorRT-LLM поддерживает коэффициенты масштабирования на группу: каждая небольшая группа весов получает собственный масштаб, чтобы 16 уровней покрывали нужный диапазон. Пример INT4 в vLLM сохраняет чекпоинт W4A16-G128 — одна группа на 128 весов.

Простое округление до 16 уровней теряет слишком много, поэтому популярные методы действуют хитрее:

  • GPTQ использует приближённую информацию второго порядка, чтобы выбирать округления, ограничивающие ошибку на выходе. Статья сообщает о 3 или 4 битах на вес с пренебрежимо малыми потерями — этого достаточно, чтобы запустить модель на 175 млрд параметров на одном GPU.
  • AWQ исходит из того, что “not all weights in an LLM are equally important” (перевод: «не все веса LLM одинаково важны»). Защита примерно 1% значимых каналов, найденных по статистике активаций, сильно снижает ошибку. Её среда выполнения TinyChat показывает более чем трёхкратное ускорение 4-битных моделей на устройствах.

Почему это важно

Экономия памяти большая. При 0,5 байта на вес веса модели занимают четверть своего 16-битного размера. Для модели на 25,2 млрд параметров: 25,2 млрд × 2 байта = 50,4 ГБ в BF16 против 25,2 млрд × 0,5 байта = 12,6 ГБ в INT4, плюс немного на коэффициенты масштабирования. Скорость генерации часто ограничена тем, как быстро веса читаются из памяти, поэтому 4-битные веса могут снизить и задержку. Документация vLLM говорит, что INT4 W4A16 полезнее всего для низкой задержки “in workloads with low queries per second” (перевод: «при нагрузке с небольшим числом запросов в секунду»). При высокой нагрузке затраты на деквантизацию весов становятся заметнее, и выигрыш уменьшается.

При всего 16 уровнях ошибка округления больше, чем у FP8, — именно поэтому GPTQ и AWQ вообще появились. Средний балл на бенчмарке может скрывать потери на важных для вас задачах: длинных рассуждениях, точной арифметике, коде или менее распространённом языке. Если сборка INT4 на вашем тестовом наборе работает хуже 16-битной версии, верьте своему тесту.

Модели со смесью экспертов — частые кандидаты на INT4: все эксперты должны помещаться в памяти, хотя на каждый токен работают лишь некоторые.

В BroadNet Inference

Каталог моделей BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B (ID в API — broadnet/gemma-4-26b-a4b) использует 4-битные веса AWQ, предсказание нескольких токенов (multi-token prediction) и KV-кэш в FP8. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если вы выбираете между самостоятельным хостингом 4-битной модели и вызовом API, сравнить итоговые суммы помогут сравнение затрат на собственный хостинг и калькулятор стоимости LLM API.

Вопросы и ответы

Сколько памяти экономит INT4?

Каждый вес занимает полбайта вместо двух, то есть примерно четверть 16-битного размера плюс небольшие накладные расходы на коэффициенты масштабирования. Веса модели на 25,2 млрд параметров сокращаются примерно с 50,4 ГБ до 12,6 ГБ.

INT4 — это то же самое, что NF4 или FP4?

Нет. Все три используют 4 бита, но NF4 и FP4 располагают свои 16 уровней неравномерно, а INT4 — равномерно. Интеграция bitsandbytes в Hugging Face предлагает FP4 и NF4; чекпоинты GPTQ и AWQ обычно используют INT4.

Ускоряет ли INT4 модель?

Часто да, при низкой нагрузке: генерация упирается в чтение весов из памяти, а 4-битные веса меньше. Документация vLLM говорит, что INT4 W4A16 полезнее всего при небольшом числе запросов в секунду; под высокой нагрузкой выигрыш уменьшается.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity