La vitesse a deux composantes : le délai avant que quoi que ce soit n’apparaisse, et la vitesse à laquelle le texte défile ensuite. Les tokens par seconde mesurent la seconde.
Comment ça marche
La documentation de benchmark de NVIDIA définit les métriques associées :
- Time to first token (TTFT) : de l’envoi de la requête à la réception du premier token. Il augmente avec la longueur du prompt.
- Latence inter-token (ITL) : l’écart moyen entre deux tokens de sortie.
- TPS par utilisateur : les tokens de sortie d’une requête divisés par sa durée de bout en bout ; dans la définition de NVIDIA, il inclut donc le TTFT. Beaucoup de tableaux de bord citent plutôt la vitesse de décodage après le premier token, comme le fait cette page.
- TPS du système : le total des tokens de sortie sur toutes les requêtes simultanées, aussi appelé débit.
Ces métriques tirent dans des directions opposées. NVIDIA note que lorsque la concurrence augmente, le TPS du système monte tandis que le TPS par utilisateur baisse. Le chiffre marketing d’un fournisseur et la vitesse de votre requête isolée peuvent donc être honnêtes tous les deux et pourtant différer.
Une estimation rapide pour une réponse (durée totale ≈ TTFT + tokens de sortie ÷ tokens par seconde) :
total time ≈ TTFT + output tokens ÷ tokens per second
Prenons à titre d’exemple un flux de 50 tokens par seconde : une réponse de 1 000 tokens prend environ 20 secondes après le premier token. Si le modèle écrit aussi 2 000 tokens de raisonnement, ajoutez environ 40 secondes avant le début de la réponse. Le time to first token s’ajoute encore par-dessus.
Pourquoi c’est important
- Expérience utilisateur. Le streaming affiche le texte à mesure qu’il arrive : le TTFT et le TPS déterminent donc la rapidité ressentie d’une réponse.
- Débit des agents. Un agent de code attend chaque réponse avant son étape suivante. Une sortie plus rapide signifie plus d’étapes par heure.
- Limites des forfaits. Sur un forfait sans compteur de tokens, la vitesse devient le vrai plafond du nombre de tokens que vous pouvez utiliser.
Sur BroadNet Inference
La page des forfaits de BroadNet indique une vitesse typique de environ 100 tokens par seconde pour DeepSeek V4.1 Flash. Une session des forfaits illimités traite une requête à la fois : à cette vitesse, une session qui générerait sans interruption pendant 30 jours produirait environ 259 millions tokens de sortie. Les vrais agents passent du temps à lire, à exécuter des outils et à attendre : le chiffre pratique est donc plus bas.
Pour obtenir plus de débit total sur un forfait, ajoutez des sessions : une par agent qui travaille en parallèle. Voir comment fonctionnent les sessions illimitées et faire tourner des agents de code en parallèle.
Erreurs fréquentes
- Comparer des fournisseurs sur une seule requête. Mesurez le TTFT et le TPS sur de nombreuses requêtes, avec vos propres tailles de prompt.
- Oublier le temps de raisonnement en réglant les timeouts du client.