BroadRouter
Начать

Квантизация (quantization)

Обновлено

Квантизация — это хранение чисел нейросети, в первую очередь её весов, в формате пониженной точности, например 8- или 4-битном вместо 16-битного, чтобы модель занимала меньше памяти и часто работала быстрее. Хорошие методы сохраняют потерю точности небольшой.

Также называют: квантование, квантование модели, квантизация модели, квантизация LLM, квантованная модель, квантизованная модель, quantization, model quantization, LLM quantization, quantized model, weight quantization

Большинство открытых моделей выходят с 16-битными весами. Квантизация ужимает эти числа, чтобы модель помещалась на меньшее число GPU.

Как это работает

Hugging Face описывает квантизацию как “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (перевод: «представление весов и активаций типами данных пониженной точности, например 8-битными целыми (int8)»). Каждый блок весов получает масштабный коэффициент. Веса округляются до небольшого набора уровней, а во время работы снова умножаются на этот коэффициент.

Память под веса пропорциональна числу бит на параметр. Возьмём Gemma 4 26B A4B от Google, у которой 25,2 млрд параметров:

Точность Байт на вес Только веса
16 бит (BF16) 2 25,2 млрд × 2 = 50,4 ГБ
8 бит (FP8 или INT8) 1 25,2 ГБ
4 бита (INT4) 0,5 12,6 ГБ

KV-кэшу и активациям нужно место сверх этого.

Методы различаются тем, что именно квантизуется и как выбираются уровни:

  • LLM.int8() вдвое сокращает память для инференса и оставляет несколько признаков-выбросов в 16 битах; по данным статьи, более 99,9% значений всё равно считаются в 8-битной арифметике.
  • GPTQ — однопроходный метод для весов, который доходит до 3 или 4 бит на вес с “negligible accuracy degradation” (перевод: «пренебрежимо малым падением точности») и квантизует модель на 175 млрд параметров примерно за четыре GPU-часа.
  • Только веса или веса и активации. Форматы только для весов экономят память. Если квантизовать ещё и активации, на поддерживающем это железе ускоряются и матричные вычисления.

Почему это важно

Для того, кто вызывает API, квантизация в запросе незаметна, но проявляется в трёх местах. Цена: меньшим моделям нужно меньше GPU, и обслуживание дешевеет. Скорость: генерация часто упирается в пропускную способность памяти, поэтому меньше байт на вес может означать больше токенов в секунду. Качество: меньше бит — больше ошибок округления, и модель может сохранить средний балл, но просесть именно на тех задачах, которые важны вам.

Если два провайдера отдают «одну и ту же» открытую модель, а результаты у вас разные, одна из вероятных причин — точность.

В BroadNet Inference

Справочник API BroadNet не указывает точность, с которой обслуживаются модели. В каталоге моделей продакшен-сборка Gemma 4 26B A4B, доступная как BroadNet Gemma 4 VL 26B, указана с весами AWQ в 4 битах и KV-кэшем в FP8. Точность в API для остальных моделей не указана. Если точность для вас важна, прогоните один и тот же набор для оценки у каждого провайдера; как это сделать, описано в чек-листе оценки модели перед переходом.

Вопросы и ответы

Ухудшает ли квантизация модель?

Иногда немного. Авторы LLM.int8() сообщают об отсутствии деградации при 8-битном инференсе вплоть до 175 млрд параметров, а авторы GPTQ — о пренебрежимо малых потерях при 3 или 4 битах на вес. Чем меньше бит и сложнее задача, тем выше риск, поэтому проверяйте на своих промптах.

Можно ли понять, что API отдаёт квантизованную модель?

Обычно только если провайдер сам об этом говорит. Формат ответа API в обоих случаях одинаков, поэтому сравнивайте результаты на своих тестах и спрашивайте провайдера, какую точность он использует.

Сколько памяти экономит квантизация?

Память под веса пропорциональна числу бит на вес. Модели на 25,2 млрд параметров нужно около 50,4 ГБ в 16 битах, 25,2 ГБ в 8 битах и 12,6 ГБ в 4 битах — без учёта KV-кэша и активаций.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity