Si alguna vez descargó un modelo para ejecutarlo en una laptop, probablemente era un archivo terminado en .gguf.
Cómo funciona
La especificación de ggml describe GGUF como un formato binario para almacenar modelos destinados a inferencia con GGML y ejecutores basados en GGML, diseñado para cargar y guardar rápido. Sustituyó a los formatos anteriores GGML, GGMF y GGJT. Entre sus objetivos declarados están:
- Un solo archivo. Un modelo se puede compartir y cargar sin archivos adicionales.
- Compatible con mmap. El runtime puede mapear los pesos en memoria en lugar de copiarlos.
- Extensible. Se pueden añadir metadatos nuevos sin romper modelos anteriores.
- Información completa. Todo lo necesario para cargar el modelo está en el archivo.
Un archivo GGUF tiene una cabecera (un número mágico, la versión del formato y los recuentos de tensores y metadatos), pares clave-valor de metadatos tipados, una tabla con los nombres, formas, tipos y desplazamientos de los tensores, relleno hasta un límite de alineación (32 bytes por defecto) y, por último, los datos de los tensores.
Los nombres de archivo siguen una convención. El ejemplo de la especificación, Mixtral-8x7B-v0.1-KQ2.gguf, se descompone en nombre base, etiqueta de tamaño (ocho expertos de 7B; consulte mixture of experts), versión y codificación.
La mayoría de los archivos GGUF están cuantizados. La tabla de Hugging Face enumera los tipos habituales:
| Tipo | Bits por peso | Notas |
|---|---|---|
| Q8_0 | 8 | Redondeo al más cercano heredado, bloques de 32 pesos |
| Q6_K | 6.5625 | Superbloques k-quant |
| Q5_K | 5.5 | Superbloques k-quant |
| Q4_K | 4.5 | Superbloques k-quant |
| IQ4_XS | 4.25 | Usa una matriz de importancia |
| Q2_K | 2.625 | Superbloques k-quant |
Por qué importa
- Uso local y en el edge. Hugging Face menciona llama.cpp, LM Studio, GPT4All y Ollama como herramientas que usan GGUF. Es la vía habitual para ejecutar un modelo de pesos abiertos en una CPU, un Mac o una sola GPU de consumo.
- El tokenizador viaja con los pesos. Como los metadatos están en el archivo, una configuración incorrecta o ausente de la plantilla de chat o del tokenizador en una conversión puede cambiar la calidad de la salida.
- La calidad depende del tipo de cuantización. Un archivo Q2 y uno Q8 del mismo modelo no son, en la práctica, el mismo modelo. Compare elementos equivalentes.
- Distinto de los formatos de servicio en GPU. Motores de servidor como vLLM incluyen GGUF entre los formatos admitidos, pero el servicio en producción con GPU usa más a menudo formatos como AWQ o FP8.
En BroadNet Inference
La API de BroadNet sirve modelos por HTTP; no entrega archivos GGUF y usted nunca carga pesos por su cuenta. El catálogo de BroadNet indica que en su laboratorio ha ejecutado Qwen3.8 27B como GGUF Q4_K_M con un proyector de visión y un drafter de predicción multitoken en llama.cpp, junto con una versión AWQ INT4 en vLLM para AMD ROCm. No indica qué formato sirve la API pública. Si está comparando una instalación GGUF local con una API, la guía de costos de autoalojamiento frente a API y modelos de pesos abiertos frente a cerrados explican los compromisos.