BroadRouter

GGUF

Na-update

Ang GGUF ay isang binary file format para sa pag-iimbak ng mga language model para sa inference gamit ang mga GGML-based na runtime gaya ng llama.cpp. Hawak ng iisang GGUF file ang weights, na kadalasang quantized, at ang metadata na kailangan para i-load ang model, kasama ang tokenizer at architecture, at puwede itong i-memory-map para mabilis mag-load.

Tinatawag ding: GGUF file, GGUF format, llama.cpp format, GGUF model

Kung nakapag-download ka na ng model para patakbuhin sa laptop, malamang na file iyon na nagtatapos sa .gguf.

Paano ito gumagana

Inilalarawan ng ggml specification ang GGUF bilang binary format para sa pag-iimbak ng mga model para sa inference gamit ang GGML at mga GGML-based na executor, na idinisenyo para mabilis mag-load at mag-save. Pinalitan nito ang mas lumang GGML, GGMF at GGJT na format. Kabilang sa mga layunin nito:

  • Iisang file. Puwedeng i-share at i-load ang model nang walang dagdag na file.
  • Compatible sa mmap. Puwedeng i-memory-map ng runtime ang weights sa halip na kopyahin ang mga ito.
  • Extensible. Puwedeng magdagdag ng bagong metadata nang hindi nasisira ang mas lumang mga model.
  • Kumpletong impormasyon. Nasa file ang lahat ng kailangan para i-load ang model.

May header ang isang GGUF file (magic number, bersyon ng format, bilang ng tensor at metadata), mga typed na metadata key-value pair, table ng mga pangalan, shape, type at offset ng tensor, padding hanggang sa alignment boundary (32 byte bilang default), at saka ang tensor data.

May sinusunod na convention ang mga pangalan ng file. Ang halimbawa ng spec na Mixtral-8x7B-v0.1-KQ2.gguf ay nahahati sa base name, size label (walong expert na tig-7B, tingnan ang mixture of experts), bersyon at encoding.

Quantized ang karamihan sa mga GGUF file. Inililista ng table ng Hugging Face ang mga karaniwang type:

Type Bit kada weight Notes
Q8_0 8 Legacy na round-to-nearest, mga block na tig-32 weight
Q6_K 6.5625 k-quant na super-block
Q5_K 5.5 k-quant na super-block
Q4_K 4.5 k-quant na super-block
IQ4_XS 4.25 Gumagamit ng importance matrix
Q2_K 2.625 k-quant na super-block

Bakit ito mahalaga

  • Lokal at edge na paggamit. Inililista ng Hugging Face ang llama.cpp, LM Studio, GPT4All at Ollama bilang mga tool na gumagamit ng GGUF. Ito ang karaniwang paraan para patakbuhin ang isang open-weight model sa CPU, Mac o iisang consumer GPU.
  • Kasama ng weights ang tokenizer. Dahil nasa file ang metadata, puwedeng magbago ang kalidad ng output kapag mali o kulang ang chat template o tokenizer setting sa isang conversion.
  • Nakadepende sa quant type ang kalidad. Sa praktika, hindi magkaparehong model ang Q2 file at Q8 file ng iisang model. Ikumpara ang magkatulad.
  • Iba sa mga GPU serving format. Nakalista ang GGUF sa mga sinusuportahang format ng mga server engine gaya ng vLLM, pero mas madalas gumamit ang production GPU serving ng mga format gaya ng AWQ o FP8.

Sa BroadNet Inference

Nagse-serve ang API ng BroadNet ng mga model sa HTTP; hindi ito namimigay ng GGUF file, at hindi ka kailanman maglo-load ng weights. Iniuulat ng catalogue ng BroadNet na sa lab nito, napatakbo nito ang Qwen3.8 27B bilang GGUF Q4_K_M na may vision projector at multi-token-prediction drafter sa llama.cpp, kasabay ng AWQ INT4 build sa vLLM para sa AMD ROCm. Hindi nito sinasabi kung aling format ang nagse-serve sa public API. Kung tinitimbang mo ang lokal na GGUF setup laban sa API, nasa gabay sa gastos ng self-hosting vs API at sa open-weight vs closed models ang mga trade-off.

Mga tanong

Ano ang ibig sabihin ng pangalang gaya ng Q4_K?

Ito ang quantization type. Inilalarawan ng table ng Hugging Face ang Q4_K bilang 4-bit quantization sa mga super-block na may 8 block ng tig-32 weight, mga 4.5 bit kada weight. Mas kaunting bit, mas kaunting memory, pero kadalasang mas bumababa ang kalidad.

Puwede ko bang tawagan ang GGUF model gamit ang OpenAI API format?

Hindi ang file mismo. Ilo-load mo ito sa isang runtime gaya ng server ng llama.cpp, Ollama o LM Studio, at ang runtime na iyon ang magse-serve nito. Tingnan sa docs ng runtime kung anong API ang inilalantad nito.

Pareho ba ang GGUF at safetensors?

Hindi. Inilalarawan ng Hugging Face ang safetensors bilang tensor-only na format, samantalang ine-encode ng GGUF ang parehong tensors at standardized na set ng metadata sa iisang file.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity