---
title: "Apakah itu GGUF? Format fail model llama.cpp | BroadRouter"
description: "GGUF ialah format model fail tunggal yang digunakan oleh llama.cpp dan alat seperti Ollama dan LM Studio. Isi fail GGUF dan cara membaca nama quant seperti Q4_K."
url: https://broadrouter.com/ms/glossary/gguf/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/gguf/) (dikemas kini 2026-11-15).

# GGUF

Dikemas kini 2026-11-15

GGUF ialah format fail binari untuk menyimpan model bahasa bagi inferens dengan runtime berasaskan GGML seperti llama.cpp. Satu fail GGUF memegang pemberat, selalunya dikuantisasi, serta metadata yang diperlukan untuk memuatkan model, termasuk butiran tokenizer dan seni bina, dan ia boleh dipetakan ke memori (memory-mapped) untuk pemuatan pantas.

Juga dikenali sebagai: GGUF, fail GGUF, format GGUF, GGUF file, GGUF format, llama.cpp format

Jika anda pernah memuat turun model untuk dijalankan pada komputer riba, kemungkinan besar ia fail yang berakhir dengan `.gguf`.

## Cara ia berfungsi

Spesifikasi ggml menerangkan GGUF sebagai format binari untuk menyimpan model bagi inferens dengan GGML dan pelaksana berasaskan GGML, direka untuk pemuatan dan penyimpanan yang pantas. Ia menggantikan format GGML, GGMF dan GGJT yang lebih lama. Matlamat yang dinyatakannya termasuk:

-   **Fail tunggal.** Model boleh dikongsi dan dimuatkan tanpa fail tambahan.
-   **Serasi mmap.** Runtime boleh memetakan pemberat ke memori dan bukannya menyalinnya.
-   **Boleh dilanjutkan.** Metadata baharu boleh ditambah tanpa merosakkan model lama.
-   **Maklumat penuh.** Semua yang diperlukan untuk memuatkan model ada dalam fail.

Fail GGUF mempunyai pengepala (nombor ajaib, versi format, bilangan tensor dan metadata), pasangan kunci-nilai metadata bertaip, jadual nama, bentuk, jenis dan ofset tensor, pelapik hingga sempadan penjajaran (32 bait secara lalai), kemudian data tensor.

Nama fail mengikut konvensyen. Contoh daripada spesifikasi, `Mixtral-8x7B-v0.1-KQ2.gguf`, dipecahkan kepada nama asas, label saiz (lapan pakar 7B, lihat [mixture of experts](https://broadrouter.com/ms/glossary/mixture-of-experts/)), versi dan pengekodan.

Kebanyakan fail GGUF telah [dikuantisasi](https://broadrouter.com/ms/glossary/quantization/). Jadual Hugging Face menyenaraikan jenis yang biasa:

| Jenis | Bit bagi setiap pemberat | Nota |
| --- | --- | --- |
| Q8\_0 | 8 | Round-to-nearest lama, blok 32 pemberat |
| Q6\_K | 6.5625 | Super-blok k-quant |
| Q5\_K | 5.5 | Super-blok k-quant |
| Q4\_K | 4.5 | Super-blok k-quant |
| IQ4\_XS | 4.25 | Menggunakan matriks kepentingan (importance matrix) |
| Q2\_K | 2.625 | Super-blok k-quant |

## Mengapa ia penting

-   **Kegunaan setempat dan edge.** Hugging Face menyenaraikan llama.cpp, LM Studio, GPT4All dan Ollama sebagai alat yang menggunakan GGUF. Ia laluan biasa untuk menjalankan [model open-weight](https://broadrouter.com/ms/glossary/open-weight-model/) pada CPU, Mac atau satu GPU pengguna.
-   **Tokenizer dibawa bersama pemberat.** Oleh sebab metadata berada dalam fail, [templat chat](https://broadrouter.com/ms/glossary/chat-template/) atau tetapan [tokenizer](https://broadrouter.com/ms/glossary/tokenizer/) yang salah atau tiada dalam sesuatu penukaran boleh mengubah kualiti output.
-   **Kualiti bergantung pada jenis quant.** Fail Q2 dan fail Q8 bagi model yang sama bukan model yang sama dalam amalan. Bandingkan yang setara.
-   **Berbeza daripada format penyediaan GPU.** Enjin pelayan seperti [vLLM](https://broadrouter.com/ms/glossary/vllm/) menyenaraikan GGUF antara format yang disokong, tetapi penyediaan GPU produksi lebih kerap menggunakan format seperti [AWQ](https://broadrouter.com/ms/glossary/awq/) atau FP8.

## Di BroadNet Inference

API BroadNet menyediakan model melalui HTTP; ia tidak memberikan fail GGUF, dan anda tidak pernah memuatkan pemberat sendiri. Katalog BroadNet melaporkan bahawa di makmalnya ia telah menjalankan [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) sebagai GGUF Q4\_K\_M dengan projektor penglihatan dan drafter multi-token-prediction pada llama.cpp, di samping binaan AWQ INT4 pada vLLM untuk AMD ROCm. Ia tidak menyatakan format mana yang menyediakan API awam. Jika anda menimbang persediaan GGUF setempat berbanding API, [panduan kos hos sendiri vs API](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) dan [model open-weight vs tertutup](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) menerangkan pertukarannya.

## Soalan lazim

### Apakah maksud nama seperti Q4\_K?

Ia ialah jenis kuantisasi. Jadual Hugging Face menerangkan Q4\_K sebagai kuantisasi 4-bit dalam super-blok yang terdiri daripada 8 blok dengan 32 pemberat setiap satu, kira-kira 4.5 bit bagi setiap pemberat. Lebih sedikit bit menggunakan kurang memori dan biasanya mengurangkan kualiti.

### Bolehkah saya memanggil model GGUF melalui format API OpenAI?

Bukan fail itu sendiri. Anda memuatkannya ke dalam runtime seperti pelayan llama.cpp, Ollama atau LM Studio, dan runtime itulah yang menyediakannya. Semak dokumentasi runtime untuk API yang didedahkannya.

### Adakah GGUF sama dengan safetensors?

Tidak. Hugging Face menerangkan safetensors sebagai format tensor sahaja, manakala GGUF mengekodkan kedua-dua tensor dan set metadata piawai dalam satu fail.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ms/glossary/awq/) (istilah)
-   [INT4](https://broadrouter.com/ms/glossary/int4/) (istilah)
-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/) (istilah)
-   [vLLM](https://broadrouter.com/ms/glossary/vllm/) (istilah)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup bagi perniagaan: kos, kawalan, risiko](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-gguf&utm_content=page-cta) ·

**Sumber**

-   [Projek ggml, spesifikasi GGUF, docs/gguf.md (disemak 2026-11-15)](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md)
-   [Dokumentasi Hugging Face Hub, GGUF (jadual jenis kuantisasi) (disemak 2026-11-15)](https://huggingface.co/docs/hub/gguf)
-   [Katalog model BroadNet: konfigurasi penyediaan di makmal (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models)
