La fenêtre de contexte est la mémoire de travail d’un modèle pour une requête. Tout ce que le modèle doit voir, et tout ce qu’il renvoie, doit y tenir.
Comment ça marche
La fenêtre se mesure en tokens. La documentation d’Anthropic la décrit comme « all the text a language model can reference when generating a response, including the response itself » (traduction : « tout le texte auquel un modèle de langage peut se référer pour générer une réponse, y compris la réponse elle-même »). Cela comprend :
- le prompt système et chaque message, y compris les tours précédents ;
- les définitions d’outils et leurs résultats ;
- les documents et les images ;
- la sortie, y compris les tokens de raisonnement cachés.
Le budget est donc partagé. Avec une fenêtre de 1 048 576 tokens, un prompt de 1 040 000 tokens laisse environ 8 000 tokens pour le raisonnement et la réponse. Réglez max_tokens en conséquence.
Le modèle ne se souvient pas des requêtes précédentes. Un chat ne paraît continu que parce que le client renvoie l’historique à chaque tour : une longue conversation remplit donc la fenêtre petit à petit.
Pourquoi c’est important
- Capacité. Une grande fenêtre permet de faire tenir dans une requête toute une base de code, un ensemble de contrats ou des heures de transcriptions, pour que le modèle relie les faits entre eux.
- Coût. Avec une clé facturée au token, chaque token de la fenêtre est facturé comme entrée. La mise en cache baisse le prix des préfixes répétés, mais les tokens en cache occupent toujours la fenêtre.
- Qualité. Plus n’est pas toujours mieux. Anthropic appelle « context rot » la perte de précision dans les très longs prompts. Sélectionnez ce que vous envoyez.
- Latence. Les longs prompts retardent l’apparition du premier token.
Sur BroadNet Inference
| Modèle | Fenêtre de contexte |
|---|---|
| DeepSeek V4.1 Flash | 1 048 576 tokens |
| GLM 5.3 | 1 048 576 tokens |
| Qwen3.8 27B | 262 144 tokens |
| BroadNet Gemma 4 VL 26B | 32 768 tokens |
La fenêtre couvre le prompt et la réponse ensemble, et BroadNet ne raccourcit pas votre contexte. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre : laissez de la marge, car une fenêtre pleine avec un petit budget de sortie renvoie une réponse vide. Voir pourquoi les modèles de raisonnement renvoient des réponses vides.
Les forfaits illimités incluent la fenêtre complète de 1M tokens sur DeepSeek V4.1 Flash. Pour savoir quand autant de contexte vaut mieux que le retrieval, lisez le guide de la fenêtre de contexte de 1M tokens.
Erreurs fréquentes
- Confondre la fenêtre avec la longueur de sortie. Les limites de sortie se règlent à part avec
max_tokens. - Renvoyer indéfiniment tout l’historique. Résumez ou supprimez les anciens tours avant que la fenêtre ne soit pleine.