Si vous avez déjà téléchargé un modèle pour le faire tourner sur un ordinateur portable, c’était probablement un fichier se terminant par .gguf.
Comment ça marche
La spécification ggml décrit le GGUF comme un format binaire de stockage de modèles pour l’inférence avec GGML et les exécuteurs basés sur GGML, conçu pour un chargement et un enregistrement rapides. Il a remplacé les anciens formats GGML, GGMF et GGJT. Ses objectifs déclarés incluent :
- Un seul fichier. Un modèle peut être partagé et chargé sans fichier supplémentaire.
- Compatible mmap. Le runtime peut mapper les poids en mémoire au lieu de les copier.
- Extensible. On peut ajouter de nouvelles métadonnées sans casser les modèles plus anciens.
- Information complète. Tout ce qu’il faut pour charger le modèle se trouve dans le fichier.
Un fichier GGUF comprend un en-tête (un nombre magique, la version du format, le nombre de tenseurs et de métadonnées), des paires clé-valeur de métadonnées typées, une table des noms, formes, types et offsets des tenseurs, un remplissage jusqu’à une limite d’alignement (32 octets par défaut), puis les données des tenseurs.
Les noms de fichiers suivent une convention. L’exemple de la spécification, Mixtral-8x7B-v0.1-KQ2.gguf, se décompose en nom de base, libellé de taille (huit experts de 7B, voir mixture of experts), version et encodage.
La plupart des fichiers GGUF sont quantifiés. Le tableau de Hugging Face liste les types courants :
| Type | Bits par poids | Remarques |
|---|---|---|
| Q8_0 | 8 | Arrondi au plus proche classique, blocs de 32 poids |
| Q6_K | 6,5625 | Super-blocs k-quant |
| Q5_K | 5,5 | Super-blocs k-quant |
| Q4_K | 4,5 | Super-blocs k-quant |
| IQ4_XS | 4,25 | Utilise une matrice d’importance |
| Q2_K | 2,625 | Super-blocs k-quant |
Pourquoi c’est important
- Usage local et en périphérie. Hugging Face cite llama.cpp, LM Studio, GPT4All et Ollama parmi les outils qui utilisent le GGUF. C’est la voie habituelle pour faire tourner un modèle open-weight sur un CPU, un Mac ou un seul GPU grand public.
- Le tokenizer voyage avec les poids. Comme les métadonnées sont dans le fichier, un chat template ou un réglage de tokenizer erroné ou manquant lors d’une conversion peut modifier la qualité des sorties.
- La qualité dépend du type de quant. Un fichier Q2 et un fichier Q8 du même modèle ne sont pas, en pratique, le même modèle. Comparez ce qui est comparable.
- Différent des formats de service sur GPU. Des moteurs de service comme vLLM listent le GGUF parmi les formats pris en charge, mais le service en production sur GPU utilise plus souvent des formats comme AWQ ou FP8.
Sur BroadNet Inference
L’API de BroadNet sert les modèles via HTTP ; elle ne distribue pas de fichiers GGUF et vous ne chargez jamais de poids vous-même. Le catalogue de BroadNet indique qu’en laboratoire, BroadNet a fait tourner Qwen3.8 27B en GGUF Q4_K_M avec un projecteur de vision et un drafter de prédiction multi-token sur llama.cpp, en parallèle d’un build AWQ INT4 sur vLLM pour AMD ROCm. Il ne précise pas quel format sert l’API publique. Si vous comparez une installation GGUF locale à une API, le guide des coûts auto-hébergement ou API et modèles open-weight ou fermés détaillent les compromis.