Большинство открытых моделей выходят с 16-битными весами. Квантизация ужимает эти числа, чтобы модель помещалась на меньшее число GPU.
Как это работает
Hugging Face описывает квантизацию как “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (перевод: «представление весов и активаций типами данных пониженной точности, например 8-битными целыми (int8)»). Каждый блок весов получает масштабный коэффициент. Веса округляются до небольшого набора уровней, а во время работы снова умножаются на этот коэффициент.
Память под веса пропорциональна числу бит на параметр. Возьмём Gemma 4 26B A4B от Google, у которой 25,2 млрд параметров:
| Точность | Байт на вес | Только веса |
|---|---|---|
| 16 бит (BF16) | 2 | 25,2 млрд × 2 = 50,4 ГБ |
| 8 бит (FP8 или INT8) | 1 | 25,2 ГБ |
| 4 бита (INT4) | 0,5 | 12,6 ГБ |
KV-кэшу и активациям нужно место сверх этого.
Методы различаются тем, что именно квантизуется и как выбираются уровни:
- LLM.int8() вдвое сокращает память для инференса и оставляет несколько признаков-выбросов в 16 битах; по данным статьи, более 99,9% значений всё равно считаются в 8-битной арифметике.
- GPTQ — однопроходный метод для весов, который доходит до 3 или 4 бит на вес с “negligible accuracy degradation” (перевод: «пренебрежимо малым падением точности») и квантизует модель на 175 млрд параметров примерно за четыре GPU-часа.
- Только веса или веса и активации. Форматы только для весов экономят память. Если квантизовать ещё и активации, на поддерживающем это железе ускоряются и матричные вычисления.
Почему это важно
Для того, кто вызывает API, квантизация в запросе незаметна, но проявляется в трёх местах. Цена: меньшим моделям нужно меньше GPU, и обслуживание дешевеет. Скорость: генерация часто упирается в пропускную способность памяти, поэтому меньше байт на вес может означать больше токенов в секунду. Качество: меньше бит — больше ошибок округления, и модель может сохранить средний балл, но просесть именно на тех задачах, которые важны вам.
Если два провайдера отдают «одну и ту же» открытую модель, а результаты у вас разные, одна из вероятных причин — точность.
В BroadNet Inference
Справочник API BroadNet не указывает точность, с которой обслуживаются модели. В каталоге моделей продакшен-сборка Gemma 4 26B A4B, доступная как BroadNet Gemma 4 VL 26B, указана с весами AWQ в 4 битах и KV-кэшем в FP8. Точность в API для остальных моделей не указана. Если точность для вас важна, прогоните один и тот же набор для оценки у каждого провайдера; как это сделать, описано в чек-листе оценки модели перед переходом.