---
title: "INT4 kuantizasyonu nedir? 4 bit LLM ağırlıkları açıklandı"
description: "INT4, her LLM ağırlığını 16 bitlik boyutunun dörtte biri olan 4 bitlik bir tamsayı olarak saklar. 4 bit yalnızca ağırlık kuantizasyonu, GPTQ, AWQ ve kalite riskleri."
url: https://broadrouter.com/tr/glossary/int4/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/int4/) (güncelleme: 2026-11-16).

# INT4

Güncellendi 2026-11-16

INT4, 16 düzeyi temsil edebilen 4 bitlik bir tamsayı biçimidir. LLM çıkarımında genellikle 4 bit yalnızca ağırlık kuantizasyonu (W4A16) anlamına gelir: ağırlıklar ölçek katsayılarıyla INT4 olarak saklanır, hesaplama sırasında 16 bite açılır ve 16 bitlik ağırlıkların yaklaşık dörtte biri kadar bellek kullanır.

Diğer adları: INT4, 4 bit kuantizasyon, 4 bitlik kuantizasyon, 4 bit tamsayı, 4 bit LLM, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4, kuantizasyonun agresifleştiği noktadır: her ağırlık yalnızca 16 olası değer alabilir.

## Nasıl çalışır

TensorRT-LLM’in hassasiyet rehberi yaygın biçimi, **W4A16**’yı anlatır: ağırlıklar 4 bite kuantize edilir ve matris çarpımının içinde “on-the-fly” (çeviri: anında) geri açılır; aktivasyonlar ise FP16 veya BF16’da kalır. TensorRT-LLM grup başına ölçek katsayılarını destekler: her küçük ağırlık grubu kendi ölçeğini alır, böylece 16 düzey doğru aralığı kapsar. vLLM’in INT4 örneği, her 128 ağırlığa bir grup düşen bir `W4A16-G128` checkpoint’i kaydeder.

16 düzeye düz yuvarlama çok fazla bilgi kaybettirir; bu yüzden popüler yöntemler bu işi daha akıllıca yapar:

-   **GPTQ**, çıktı hatasını sınırlayan yuvarlamaları seçmek için yaklaşık ikinci dereceden bilgi kullanır. Makale, ağırlık başına 3 veya 4 bitte ihmal edilebilir kayıp bildirir; bu, 175B’lik bir modeli tek GPU’da çalıştırmaya yeter.
-   **AWQ**, “not all weights in an LLM are equally important” (çeviri: bir LLM’deki tüm ağırlıklar eşit derecede önemli değildir) gözleminden yola çıkar. Aktivasyon istatistiklerinden bulunan önemli kanalların yaklaşık %1’ini korumak hatayı büyük ölçüde azaltır. TinyChat çalışma ortamı, cihazlarda 4 bitlik modeller için 3 kattan fazla hızlanma bildirir.

## Neden önemli

Bellek tasarrufu büyüktür. Ağırlık başına 0,5 baytla bir modelin ağırlıkları 16 bitlik boyutlarının dörtte birini kaplar. 25,2B parametreli bir model için: BF16’da 25,2B × 2 bayt = 50,4 GB, INT4’te ise 25,2B × 0,5 bayt = 12,6 GB, artı ölçek katsayıları için biraz. Üretim hızı çoğu zaman ağırlıkların bellekten ne kadar hızlı aktığıyla sınırlıdır; bu yüzden 4 bitlik ağırlıklar [gecikmeyi](https://broadrouter.com/tr/glossary/latency/) de azaltabilir. vLLM belgelerine göre INT4 W4A16, gecikmeyi “in workloads with low queries per second” (çeviri: saniye başına sorgu sayısı düşük iş yüklerinde) düşük tutmak için en kullanışlıdır. Yüksek yükte ağırlıkları geri açmanın maliyeti daha çok önem kazanır ve kazanç azalır.

Yalnızca 16 düzeyle yuvarlama hatası [FP8](https://broadrouter.com/tr/glossary/fp8/)’e göre daha büyüktür; GPTQ ve AWQ’nun var olma sebebi de budur. Ortalama bir benchmark skoru, önemsediğiniz görevlerdeki kayıpları gizleyebilir: uzun akıl yürütme, kesin aritmetik, kod ya da daha az yaygın bir dil gibi. Bir INT4 sürümü kendi test setinizde 16 bitlik sürümden kötü sonuç veriyorsa testinize inanın.

[Uzmanlar karışımı (mixture-of-experts)](https://broadrouter.com/tr/glossary/mixture-of-experts/) modelleri sık sık INT4’e adaydır; çünkü token başına az sayıda uzman çalışsa da tüm uzmanların belleğe sığması gerekir.

## BroadNet Inference’ta

BroadNet’in [model kataloğu](https://www.broadnet.ai/inference/models), üretimdeki Gemma 4 26B A4B sürümünün (API kimliği `broadnet/gemma-4-26b-a4b`) çoklu token tahmini ve FP8 KV önbelleğiyle birlikte AWQ 4 bitlik ağırlıklar kullandığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. 4 bitlik bir modeli kendiniz barındırmakla bir API çağırmak arasında seçim yapıyorsanız, [kendi barındırma maliyet karşılaştırması](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) ve [LLM API maliyet hesaplayıcı](https://broadrouter.com/tools/llm-api-cost-calculator/) toplamları karşılaştırmanıza yardımcı olur.

## Sık sorulan sorular

### INT4 ne kadar bellek tasarrufu sağlar?

Her ağırlık iki bayt yerine yarım bayt yer kaplar; yani 16 bitlik boyutun yaklaşık dörtte biri, artı ölçek katsayıları için küçük bir ek yük. 25,2B parametreli bir modelin ağırlıkları yaklaşık 50,4 GB'tan yaklaşık 12,6 GB'a iner.

### INT4, NF4 veya FP4 ile aynı mı?

Hayır. Üçü de 4 bit kullanır, ancak NF4 ve FP4 16 düzeyini eşit olmayan aralıklarla yerleştirirken INT4 eşit aralıklarla dağıtır. Hugging Face'in bitsandbytes entegrasyonu FP4 ve NF4 sunar; GPTQ ve AWQ checkpoint'leri genellikle INT4 kullanır.

### INT4 bir modeli hızlandırır mı?

Düşük yükte çoğu zaman evet; çünkü üretim, ağırlıkların bellekten okunmasıyla sınırlıdır ve 4 bitlik ağırlıklar daha küçüktür. vLLM belgelerine göre INT4 W4A16 en çok saniye başına sorgu sayısı düşük iş yüklerinde işe yarar; yoğun yük altında kazanç azalır.

## Ayrıca bakın

-   [Kuantizasyon (quantization)](https://broadrouter.com/tr/glossary/quantization/) (terim)
-   [FP8](https://broadrouter.com/tr/glossary/fp8/) (terim)
-   [Uzmanlar karışımı (mixture of experts, MoE)](https://broadrouter.com/tr/glossary/mixture-of-experts/) (terim)
-   [Gecikme (latency)](https://broadrouter.com/tr/glossary/latency/) (terim)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/tr/glossary/awq/) (terim)
-   [OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/) (rehber)
-   [LLM barındırmak mı, API mi: gerçek maliyet ve başa baş noktası](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) (yazı)
-   [İşletmeler için açık ağırlıklı ve kapalı yapay zekâ modelleri](https://broadrouter.com/tr/blog/open-weight-vs-closed-models/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-int4&utm_content=page-cta) ·

**Kaynaklar**

-   [BroadNet model kataloğu (Gemma 4 26B A4B, AWQ 4 bit) (İngilizce)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, sayısal hassasiyet (INT4 ve INT8 yalnızca ağırlık)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin vd., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar vd., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM belgeleri, INT4 W4A16 kuantizasyonu](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers belgeleri, bitsandbytes (NF4 ve FP4 4 bit türleri) (kontrol tarihi 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
