BroadRouter

GGUF

Actualizado

GGUF es un formato de archivo binario para almacenar modelos de lenguaje destinados a inferencia con runtimes basados en GGML, como llama.cpp. Un archivo GGUF contiene los pesos, a menudo cuantizados, y los metadatos necesarios para cargar el modelo, incluidos el tokenizador y la arquitectura, y puede mapearse en memoria para cargar rápido.

También llamado: GGUF, archivo GGUF, formato GGUF, formato de llama.cpp, GGUF file, GGUF format, llama.cpp format

Si alguna vez descargó un modelo para ejecutarlo en una laptop, probablemente era un archivo terminado en .gguf.

Cómo funciona

La especificación de ggml describe GGUF como un formato binario para almacenar modelos destinados a inferencia con GGML y ejecutores basados en GGML, diseñado para cargar y guardar rápido. Sustituyó a los formatos anteriores GGML, GGMF y GGJT. Entre sus objetivos declarados están:

  • Un solo archivo. Un modelo se puede compartir y cargar sin archivos adicionales.
  • Compatible con mmap. El runtime puede mapear los pesos en memoria en lugar de copiarlos.
  • Extensible. Se pueden añadir metadatos nuevos sin romper modelos anteriores.
  • Información completa. Todo lo necesario para cargar el modelo está en el archivo.

Un archivo GGUF tiene una cabecera (un número mágico, la versión del formato y los recuentos de tensores y metadatos), pares clave-valor de metadatos tipados, una tabla con los nombres, formas, tipos y desplazamientos de los tensores, relleno hasta un límite de alineación (32 bytes por defecto) y, por último, los datos de los tensores.

Los nombres de archivo siguen una convención. El ejemplo de la especificación, Mixtral-8x7B-v0.1-KQ2.gguf, se descompone en nombre base, etiqueta de tamaño (ocho expertos de 7B; consulte mixture of experts), versión y codificación.

La mayoría de los archivos GGUF están cuantizados. La tabla de Hugging Face enumera los tipos habituales:

Tipo Bits por peso Notas
Q8_0 8 Redondeo al más cercano heredado, bloques de 32 pesos
Q6_K 6.5625 Superbloques k-quant
Q5_K 5.5 Superbloques k-quant
Q4_K 4.5 Superbloques k-quant
IQ4_XS 4.25 Usa una matriz de importancia
Q2_K 2.625 Superbloques k-quant

Por qué importa

  • Uso local y en el edge. Hugging Face menciona llama.cpp, LM Studio, GPT4All y Ollama como herramientas que usan GGUF. Es la vía habitual para ejecutar un modelo de pesos abiertos en una CPU, un Mac o una sola GPU de consumo.
  • El tokenizador viaja con los pesos. Como los metadatos están en el archivo, una configuración incorrecta o ausente de la plantilla de chat o del tokenizador en una conversión puede cambiar la calidad de la salida.
  • La calidad depende del tipo de cuantización. Un archivo Q2 y uno Q8 del mismo modelo no son, en la práctica, el mismo modelo. Compare elementos equivalentes.
  • Distinto de los formatos de servicio en GPU. Motores de servidor como vLLM incluyen GGUF entre los formatos admitidos, pero el servicio en producción con GPU usa más a menudo formatos como AWQ o FP8.

En BroadNet Inference

La API de BroadNet sirve modelos por HTTP; no entrega archivos GGUF y usted nunca carga pesos por su cuenta. El catálogo de BroadNet indica que en su laboratorio ha ejecutado Qwen3.8 27B como GGUF Q4_K_M con un proyector de visión y un drafter de predicción multitoken en llama.cpp, junto con una versión AWQ INT4 en vLLM para AMD ROCm. No indica qué formato sirve la API pública. Si está comparando una instalación GGUF local con una API, la guía de costos de autoalojamiento frente a API y modelos de pesos abiertos frente a cerrados explican los compromisos.

Preguntas frecuentes

¿Qué significa un nombre como Q4_K?

Es el tipo de cuantización. La tabla de Hugging Face describe Q4_K como cuantización de 4 bits en superbloques de 8 bloques de 32 pesos, unos 4.5 bits por peso. Menos bits usan menos memoria y suelen costar más calidad.

¿Puedo llamar a un modelo GGUF con el formato de la API de OpenAI?

No al archivo en sí. Se carga en un runtime como el servidor de llama.cpp, Ollama o LM Studio, y es ese runtime el que lo sirve. Consulte la documentación del runtime para ver qué API expone.

¿GGUF es lo mismo que safetensors?

No. Hugging Face describe safetensors como un formato solo para tensores, mientras que GGUF codifica en un mismo archivo los tensores y un conjunto estandarizado de metadatos.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity