BroadRouter
Commencer

Fenêtre de contexte (context window)

Mis à jour

La fenêtre de contexte est le nombre maximal de tokens qu’un modèle de langage peut traiter dans une seule requête. Elle couvre le prompt, l’historique de conversation, les définitions d’outils, les images et la sortie générée, tokens de raisonnement compris. Ce qui ne tient pas doit être coupé, résumé ou réparti sur plusieurs requêtes.

Aussi appelé : fenêtre de contexte, longueur de contexte, taille du contexte, limite de tokens, limite de contexte, context window, context length, context size, token limit, context limit

La fenêtre de contexte est la mémoire de travail d’un modèle pour une requête. Tout ce que le modèle doit voir, et tout ce qu’il renvoie, doit y tenir.

Comment ça marche

La fenêtre se mesure en tokens. La documentation d’Anthropic la décrit comme « all the text a language model can reference when generating a response, including the response itself » (traduction : « tout le texte auquel un modèle de langage peut se référer pour générer une réponse, y compris la réponse elle-même »). Cela comprend :

  • le prompt système et chaque message, y compris les tours précédents ;
  • les définitions d’outils et leurs résultats ;
  • les documents et les images ;
  • la sortie, y compris les tokens de raisonnement cachés.

Le budget est donc partagé. Avec une fenêtre de 1 048 576 tokens, un prompt de 1 040 000 tokens laisse environ 8 000 tokens pour le raisonnement et la réponse. Réglez max_tokens en conséquence.

Le modèle ne se souvient pas des requêtes précédentes. Un chat ne paraît continu que parce que le client renvoie l’historique à chaque tour : une longue conversation remplit donc la fenêtre petit à petit.

Pourquoi c’est important

  • Capacité. Une grande fenêtre permet de faire tenir dans une requête toute une base de code, un ensemble de contrats ou des heures de transcriptions, pour que le modèle relie les faits entre eux.
  • Coût. Avec une clé facturée au token, chaque token de la fenêtre est facturé comme entrée. La mise en cache baisse le prix des préfixes répétés, mais les tokens en cache occupent toujours la fenêtre.
  • Qualité. Plus n’est pas toujours mieux. Anthropic appelle « context rot » la perte de précision dans les très longs prompts. Sélectionnez ce que vous envoyez.
  • Latence. Les longs prompts retardent l’apparition du premier token.

Sur BroadNet Inference

Modèle Fenêtre de contexte
DeepSeek V4.1 Flash 1 048 576 tokens
GLM 5.3 1 048 576 tokens
Qwen3.8 27B 262 144 tokens
BroadNet Gemma 4 VL 26B 32 768 tokens

La fenêtre couvre le prompt et la réponse ensemble, et BroadNet ne raccourcit pas votre contexte. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre : laissez de la marge, car une fenêtre pleine avec un petit budget de sortie renvoie une réponse vide. Voir pourquoi les modèles de raisonnement renvoient des réponses vides.

Les forfaits illimités incluent la fenêtre complète de 1M tokens sur DeepSeek V4.1 Flash. Pour savoir quand autant de contexte vaut mieux que le retrieval, lisez le guide de la fenêtre de contexte de 1M tokens.

Erreurs fréquentes

  • Confondre la fenêtre avec la longueur de sortie. Les limites de sortie se règlent à part avec max_tokens.
  • Renvoyer indéfiniment tout l’historique. Résumez ou supprimez les anciens tours avant que la fenêtre ne soit pleine.

Questions fréquentes

Que se passe-t-il si mon prompt dépasse la fenêtre de contexte ?

L’API rejette la requête, généralement avec une erreur 400. Anthropic, par exemple, renvoie « prompt is too long » (traduction : « le prompt est trop long »). Certaines applications de chat raccourcissent les anciens messages pour vous ; la plupart des API ne le font pas.

Une fenêtre de contexte plus grande est-elle toujours meilleure ?

Non. Les longs prompts coûtent plus cher et prennent plus de temps à traiter, et Anthropic note que la précision et le rappel peuvent se dégrader quand le nombre de tokens augmente. Envoyez ce dont la tâche a besoin.

BroadNet raccourcit-il mon contexte ?

Non. BroadNet Inference ne raccourcit pas votre contexte. Si la requête ne tient pas, raccourcissez-la vous-même.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity