---
title: "GGUF란? llama.cpp 모델 파일 형식 설명 | BroadRouter"
description: "GGUF는 llama.cpp와 Ollama, LM Studio 같은 도구가 쓰는 단일 파일 모델 형식입니다. GGUF 파일 안에 무엇이 있는지, Q4_K 같은 양자화 이름을 읽는 법."
url: https://broadrouter.com/ko/glossary/gguf/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/gguf/) (2026-11-15 업데이트).

# GGUF(llama.cpp 모델 파일 형식)

업데이트 2026-11-15

GGUF는 llama.cpp 같은 GGML 기반 런타임에서 추론하기 위해 언어 모델을 저장하는 바이너리 파일 형식입니다. GGUF 파일 하나에 (대개 양자화된) 가중치와 토크나이저, 아키텍처 정보 등 모델을 불러오는 데 필요한 메타데이터가 들어 있으며, 메모리 매핑으로 빠르게 불러올 수 있습니다.

다른 이름: GGUF, GGUF 파일, GGUF 형식, GGUF 포맷, GGUF 모델, llama.cpp 형식, GGUF file, GGUF format, llama.cpp format

노트북에서 실행하려고 모델을 내려받은 적이 있다면, 아마 `.gguf`로 끝나는 파일이었을 것입니다.

## 작동 방식

ggml 명세는 GGUF를 GGML 및 GGML 기반 실행기에서 추론하기 위해 모델을 저장하는 바이너리 형식으로, 빠르게 불러오고 저장하도록 설계되었다고 설명합니다. 예전의 GGML, GGMF, GGJT 형식을 대체했습니다. 명시된 목표는 다음과 같습니다.

-   **단일 파일.** 추가 파일 없이 모델을 공유하고 불러올 수 있습니다.
-   **mmap 호환.** 런타임이 가중치를 복사하지 않고 메모리 매핑할 수 있습니다.
-   **확장 가능.** 기존 모델을 깨뜨리지 않고 새 메타데이터를 추가할 수 있습니다.
-   **완전한 정보.** 모델을 불러오는 데 필요한 모든 것이 파일 안에 있습니다.

GGUF 파일은 헤더(매직 넘버, 형식 버전, 텐서 수와 메타데이터 수), 타입이 지정된 메타데이터 키-값 쌍, 텐서 이름·모양·타입·오프셋 표, 정렬 경계(기본 32바이트)까지의 패딩, 그리고 텐서 데이터 순으로 구성됩니다.

파일 이름에는 규칙이 있습니다. 명세의 예시 `Mixtral-8x7B-v0.1-KQ2.gguf`는 기본 이름, 크기 라벨(7B 전문가 8개, [전문가 혼합(MoE)](https://broadrouter.com/ko/glossary/mixture-of-experts/) 참고), 버전, 인코딩으로 나뉩니다.

대부분의 GGUF 파일은 [양자화](https://broadrouter.com/ko/glossary/quantization/)되어 있습니다. Hugging Face 표에 나온 주요 유형은 다음과 같습니다.

| 유형 | 가중치당 비트 | 비고 |
| --- | --- | --- |
| Q8\_0 | 8 | 레거시 최근접 반올림, 32개 가중치 블록 |
| Q6\_K | 6.5625 | k-quant 슈퍼블록 |
| Q5\_K | 5.5 | k-quant 슈퍼블록 |
| Q4\_K | 4.5 | k-quant 슈퍼블록 |
| IQ4\_XS | 4.25 | 중요도 행렬(importance matrix) 사용 |
| Q2\_K | 2.625 | k-quant 슈퍼블록 |

## 왜 중요한가

-   **로컬과 엣지 환경.** Hugging Face는 GGUF를 쓰는 도구로 llama.cpp, LM Studio, GPT4All, Ollama를 꼽습니다. CPU, Mac, 소비자용 GPU 한 장에서 [오픈 웨이트 모델](https://broadrouter.com/ko/glossary/open-weight-model/)을 실행하는 일반적인 방법입니다.
-   **토크나이저가 가중치와 함께 다닙니다.** 메타데이터가 파일 안에 있으므로, 변환 과정에서 [채팅 템플릿](https://broadrouter.com/ko/glossary/chat-template/)이나 [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/) 설정이 틀리거나 빠지면 출력 품질이 바뀔 수 있습니다.
-   **품질은 양자화 유형에 달려 있습니다.** 같은 모델이라도 Q2 파일과 Q8 파일은 실제로는 같은 모델이 아닙니다. 같은 조건끼리 비교하세요.
-   **GPU 서빙 형식과 다릅니다.** [vLLM](https://broadrouter.com/ko/glossary/vllm/) 같은 서버 엔진도 지원 형식에 GGUF를 넣고 있지만, 프로덕션 GPU 서빙에서는 [AWQ](https://broadrouter.com/ko/glossary/awq/)나 FP8 같은 형식을 더 많이 씁니다.

## BroadNet Inference에서는

BroadNet API는 HTTP로 모델을 서빙합니다. GGUF 파일을 내려주지 않으며, 가중치를 직접 불러올 일도 없습니다. BroadNet 카탈로그에 따르면 실험실에서 [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)를 llama.cpp에서 비전 프로젝터와 멀티 토큰 예측 드래프터를 붙인 GGUF Q4\_K\_M으로 실행했고, 이와 함께 AMD ROCm용 vLLM에서 AWQ INT4 빌드도 실행했습니다. 공개 API가 어떤 형식으로 서빙되는지는 밝히지 않습니다. 로컬 GGUF 구성과 API를 저울질하고 있다면 [자체 호스팅 vs API 비용 가이드](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)와 [오픈 웨이트 vs 클로즈드 모델](https://broadrouter.com/ko/blog/open-weight-vs-closed-models/)에서 장단점을 다룹니다.

## 자주 묻는 질문

### Q4\_K 같은 이름은 무슨 뜻인가요?

양자화 유형입니다. Hugging Face 표는 Q4\_K를 32개 가중치 블록 8개로 이루어진 슈퍼블록 단위의 4비트 양자화로, 가중치당 약 4.5비트라고 설명합니다. 비트가 적을수록 메모리를 덜 쓰고 대개 품질도 더 떨어집니다.

### GGUF 모델을 OpenAI API 형식으로 호출할 수 있나요?

파일 자체로는 안 됩니다. llama.cpp 서버, Ollama, LM Studio 같은 런타임에 불러오면 그 런타임이 모델을 서빙합니다. 어떤 API를 제공하는지는 런타임 문서를 확인하세요.

### GGUF와 safetensors는 같은 건가요?

아닙니다. Hugging Face는 safetensors를 텐서만 담는 형식으로 설명하는 반면, GGUF는 텐서와 표준화된 메타데이터를 한 파일에 함께 담습니다.

## 함께 보기

-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [AWQ(활성화 인식 가중치 양자화)](https://broadrouter.com/ko/glossary/awq/) (용어)
-   [INT4(4비트 정수 양자화)](https://broadrouter.com/ko/glossary/int4/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/) (용어)
-   [vLLM](https://broadrouter.com/ko/glossary/vllm/) (용어)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)
-   [기업용 오픈 웨이트 vs 비공개 AI 모델: 비용, 통제, 위험](https://broadrouter.com/ko/blog/open-weight-vs-closed-models/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-gguf&utm_content=page-cta) ·

**출처**

-   [ggml 프로젝트, GGUF 명세, docs/gguf.md(2026-11-15 확인)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Hugging Face Hub 문서, GGUF(양자화 유형 표)(2026-11-15 확인)](https://huggingface.co/docs/hub/gguf)
-   [BroadNet 모델 카탈로그: 실험실 서빙 구성(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models)
