BroadRouter

トークン毎秒(TPS、tokens per second)

更新日

トークン毎秒(TPS)とは、言語モデルが出力トークンを生成する速さで、通常は 1 リクエストの最初のトークン以降で測ります。応答が流れる速さを決め、全同時リクエストの合計がシステムのスループットです。最初のトークンまでの待ち時間は別に測ります。

別名: 生成速度、出力速度、トークン/秒、推論速度、TPS、tok/s、output speed、generation speed

速さには 2 つの要素があります。何かが表示されるまでの時間と、その後テキストが流れる速さです。トークン毎秒が測るのは後者です。

しくみ

NVIDIA のベンチマークのドキュメントは、関連する指標を次のように定義しています。

  • 最初のトークンまでの時間(TTFT): リクエストを送ってから最初のトークンを受け取るまで。プロンプトが長いほど伸びます。
  • トークン間レイテンシ(ITL): 出力トークン間の平均間隔。
  • ユーザーあたり TPS: 1 つのリクエストの出力トークン数をエンドツーエンドの所要時間で割ったもの。NVIDIA の定義では TTFT を含みます。多くのダッシュボードは、このページと同じく、最初のトークン以降のデコード速度を示しています。
  • システム TPS: 同時に処理されるすべてのリクエストの出力トークンの合計で、スループットとも呼ばれます。

これらは逆方向に動きます。NVIDIA によると、同時実行数が増えるとシステム TPS は上がり、ユーザーあたり TPS は下がります。プロバイダーが宣伝する数字と、あなたの 1 リクエストの速度は、どちらも正直な値でありながら食い違うことがあります。

1 つの応答にかかる時間の簡単な見積もりは次のとおりです。

total time ≈ TTFT + output tokens ÷ tokens per second

(つまり、総所要時間 ≈ TTFT + 出力トークン数 ÷ トークン毎秒。)

例として毎秒 50 トークンのストリームを考えると、1,000 トークンの回答は最初のトークンから約 20 秒かかります。モデルがさらに 2,000 の推論トークンを書くなら、回答が始まるまでに約 40 秒が加わります。最初のトークンまでの時間はその上に乗ります。

なぜ重要か

  • ユーザー体験。 ストリーミングでは届いたそばからテキストを表示するので、TTFT と TPS が応答の体感速度を決めます。
  • エージェントのスループット。 コーディングエージェントは各応答を待ってから次のステップに進みます。出力が速いほど、1 時間あたりのステップ数が増えます。
  • プランの制限。 トークンのメーターがないプランでは、速度が使えるトークン量の実質的な上限になります。

BroadNet Inference の場合

BroadNet のプランのページには、DeepSeek V4.1 Flash の標準的な速度として 毎秒約 100 トークン が示されています。無制限プランのセッションは同時に 1 リクエストを処理するので、その速度で 30 日間休まず生成し続けたセッションは 約 2.59億 の出力トークンを生み出す計算です。実際のエージェントは読み込み、ツールの実行、待機にも時間を使うので、実用上の数字はこれより低くなります。

プランで全体のスループットを上げるには、並列に動かすエージェント 1 体につき 1 セッションを追加します。無制限セッションのしくみとコーディングエージェントの並列実行を参照してください。

よくある間違い

  • 1 回のリクエストだけでプロバイダーを比べること。ご自身のプロンプトサイズで、多数のリクエストにわたって TTFT と TPS を測ってください。
  • クライアントのタイムアウトを設定するときに推論の時間を忘れること。

よくある質問

トークン毎秒はどのくらいなら十分ですか?

用途によります。チャットの応答なら、人が読むより速く文字が出てくれば反応がよく感じられます。エージェントやバッチ処理では、タスクあたりの総時間と、並列に動かせるリクエスト数のほうが重要です。

トークン毎秒にプロンプトは含まれますか?

通常は含まれません。生成速度が数えるのは出力トークンです。プロンプトの読み込みは、代わりに最初のトークンまでの時間に表れ、プロンプトが長いほど伸びます。

推論トークンで回答は遅くなりますか?

はい。推論トークンは見える出力と同じ速さで生成されるので、2,000 トークン分思考するモデルは、それらのトークンにかかる時間だけ回答が遅れます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く