INT4 — это квантизация всерьёз: у каждого веса остаётся всего 16 возможных значений.
Как это работает
Руководство TensorRT-LLM по точности описывает самый распространённый вариант, W4A16: веса квантизуются до 4 бит и деквантизуются “on-the-fly” (перевод: «на лету») внутри матричного умножения, а активации остаются в FP16 или BF16. TensorRT-LLM поддерживает коэффициенты масштабирования на группу: каждая небольшая группа весов получает собственный масштаб, чтобы 16 уровней покрывали нужный диапазон. Пример INT4 в vLLM сохраняет чекпоинт W4A16-G128 — одна группа на 128 весов.
Простое округление до 16 уровней теряет слишком много, поэтому популярные методы действуют хитрее:
- GPTQ использует приближённую информацию второго порядка, чтобы выбирать округления, ограничивающие ошибку на выходе. Статья сообщает о 3 или 4 битах на вес с пренебрежимо малыми потерями — этого достаточно, чтобы запустить модель на 175 млрд параметров на одном GPU.
- AWQ исходит из того, что “not all weights in an LLM are equally important” (перевод: «не все веса LLM одинаково важны»). Защита примерно 1% значимых каналов, найденных по статистике активаций, сильно снижает ошибку. Её среда выполнения TinyChat показывает более чем трёхкратное ускорение 4-битных моделей на устройствах.
Почему это важно
Экономия памяти большая. При 0,5 байта на вес веса модели занимают четверть своего 16-битного размера. Для модели на 25,2 млрд параметров: 25,2 млрд × 2 байта = 50,4 ГБ в BF16 против 25,2 млрд × 0,5 байта = 12,6 ГБ в INT4, плюс немного на коэффициенты масштабирования. Скорость генерации часто ограничена тем, как быстро веса читаются из памяти, поэтому 4-битные веса могут снизить и задержку. Документация vLLM говорит, что INT4 W4A16 полезнее всего для низкой задержки “in workloads with low queries per second” (перевод: «при нагрузке с небольшим числом запросов в секунду»). При высокой нагрузке затраты на деквантизацию весов становятся заметнее, и выигрыш уменьшается.
При всего 16 уровнях ошибка округления больше, чем у FP8, — именно поэтому GPTQ и AWQ вообще появились. Средний балл на бенчмарке может скрывать потери на важных для вас задачах: длинных рассуждениях, точной арифметике, коде или менее распространённом языке. Если сборка INT4 на вашем тестовом наборе работает хуже 16-битной версии, верьте своему тесту.
Модели со смесью экспертов — частые кандидаты на INT4: все эксперты должны помещаться в памяти, хотя на каждый токен работают лишь некоторые.
В BroadNet Inference
Каталог моделей BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B (ID в API — broadnet/gemma-4-26b-a4b) использует 4-битные веса AWQ, предсказание нескольких токенов (multi-token prediction) и KV-кэш в FP8. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если вы выбираете между самостоятельным хостингом 4-битной модели и вызовом API, сравнить итоговые суммы помогут сравнение затрат на собственный хостинг и калькулятор стоимости LLM API.