コンテキストウィンドウは、数千トークンから 100 万トークン超にまで広がりました。BroadNet Inference の DeepSeek V4.1 Flash と GLM 5.3 は、1 リクエストあたり 1,048,576 トークン(プロンプトと回答の合計)を受け付けます。これで作り方は変わりますが、どんなプロンプトでも良くなるわけではありません。
100 万トークンには何が入りますか?
大まかな目安として、トークナイザー効率データセットでは、英語の文章 1,000 単語が 5 つのトークナイザーの平均で約 1,290 トークンでした。つまり 100 万トークンは、平易な文章でおよそ 810,000 単語です。
| 内容 | 目安 |
|---|---|
| 中規模のコードベース(数万行) | 余裕をもって入る |
| 付属書類付きの長い契約書数件 | 入る |
| 1 日分の会議の文字起こし | 入る |
| 依存関係を含む大きなモノレポ | 入らないことが多い。ディレクトリを選ぶ |
トークン数は言語と内容によって変わります。コードやアラビア語のテキストは、英語の文章より 1 文字あたりのトークンが多くなりがちです。見積もるより、実際のリクエストの usage ブロックで測るか、コンテキストウィンドウ計算ツールでサンプルを確認してください。
BroadNet で 100 万トークンのコンテキストウィンドウを持つモデルは?
| モデル | コンテキストウィンドウ | 入力 | 出力 | 画像 |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | 可 |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | 不可 |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | 可 |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | 可 |
料金は 100 万トークンあたりです。GLM 5.3 は、同じ 100 万トークンのウィンドウでツール呼び出しと構造化出力にも対応しています。
100 万トークンのウィンドウが役立つのはどんなときですか?
- ファイルをまたぐ推論。「このテストはなぜ失敗するのか?」の答えは、誰も一緒に検索しようとは思わない 5 つのファイルにかかっていることがよくあります。
- **文書全体のレビュー。**第 4 条と付属書 B の矛盾を見つけるには、両方が見えている必要があります。
- **一度きりの分析。**一度しか聞かない質問なら、検索インデックスを作る手間のほうが、節約できる手間より大きくなります。
- **エージェント。**モジュール全体を読めるサブエージェントは、当て推量で間違えることが減ります。エージェントを並列で動かすを参照してください。
検索のほうがまだ良いのはどんなときですか?
どんなウィンドウよりはるかに大きなライブラリでの小さな検索を何度も行う場合、毎分変わるコンテンツ、そして巨大なプロンプトを先に読むと遅延が増える、素早い対話型の回答では、検索が勝ちます。多くの本番システムは両方を使います。最も関連性の高い 20 万トークンを検索し、そのすべてを踏まえてロングコンテキストモデルに推論させるのです。クエリあたりのコスト、レイテンシ、再現率を並べた判断の全体像は、ロングコンテキストか RAG かにまとめています。
モデルは本当にウィンドウ全体を使っていますか?
均等には使っていません。この点で研究の結果は一貫しています。
- Lost in the Middle の論文(Liu ほか)は、性能が “is often highest when relevant information occurs at the beginning or end of the input context”(訳:関連情報が入力コンテキストの冒頭か末尾にあるときに最も高くなることが多い)としています。
- Chroma の Context Rot レポートは 18 のモデルをテストし、単純なタスクでも “performance grows increasingly unreliable as input length grows”(訳:入力が長くなるにつれて性能はますます不安定になる)ことを見出しました。
これらの研究は BroadNet 上のモデルをテストしたものではないので、測定結果ではなく警告として受け止めてください。実用上のルールは、100 万トークンを受け付けるウィンドウだからといって、すべてのトークンが等しく注目されるわけではない、ということです。最も重要な内容は冒頭か末尾の近くに置き、自分の文書で再現率をテストしてください。
100 万トークンのプロンプトにはいくらかかりますか?
従量課金キーでは、DeepSeek V4.1 Flash は 100 万入力トークンあたり $0.175、100 万キャッシュ入力トークンあたり $0.0055 で課金されます。100 万トークンいっぱいのプロンプトは、初回は約 $0.175 で、プレフィックスがキャッシュされれば繰り返しの呼び出しははるかに安くなります。キャッシュ率を上げる方法を参照してください。
プロンプトキャッシュ計算ツールを使えば、自分のプロンプトサイズでキャッシュヒットがどれだけ節約になるかがわかります。具体例として、同じ 80 万トークンの契約書一式について 10 の質問をするとします。キャッシュがなければ、100 万トークンあたり $0.175 で 800 万トークンです。文書を先頭に置いて同一に保てば、初回の呼び出しは新規の 80 万トークンを読み、続く 9 回はその大部分を 100 万トークンあたり $0.0055 でキャッシュから読めます。変わるのは質問と回答だけです。
無制限プランでは、プロンプトのサイズで請求額は変わりません。Full Moon はセッションあたり月 $60 で、トークンの計量はありません。ロングコンテキストのエージェントが、トークン課金より定額プランを選ぶよくある理由になっているのはこのためです。
回答にはどれくらい余地を残すべきですか?
ウィンドウにはプロンプトと出力の両方が含まれ、推論モデルでは出力に思考も含まれます。1,040,000 トークンのプロンプトを送ると、推論と回答に残るのは約 8,000 トークンだけです。余裕を確保し、max_tokens を明示的に設定し、推論モデルが空の回答を返すことがある理由をお読みください。
100 万トークンのプロンプトに向けてコードベースを準備する方法
- **モデルに不要なものを除外します。**ロックファイル、ビルド成果物、vendoring した依存関係、画像、生成コードはトークンを食い、ノイズを増やします。
- **送る前に数えます。**小さなサンプルを送り、usage から
prompt_tokensを読み、スケールアップします。 - **安定性の順に並べます。**めったに変わらないファイルを先に、編集中のファイルを後に、質問を一番最後に置きます。こうするとプレフィックスがキャッシュされ続けます。
- すべてのファイルにラベルを付けます。
=== path/to/file.py ===のようなわかりやすい区切りでファイルを囲めば、モデルが引用できます。 - 引用を求めます。「根拠にした行を引用してください」と頼むと、巨大な入力での自信満々な間違いが減ります。
- **測ります。**リクエストごとにプロンプトトークン、キャッシュトークン、最初のトークンまでの時間をログに残します。ストリーミングなら、最初のトークンが届いた時点で表示できます。
BroadNet Inference が向いている場面
チャットモデルのうち 2 つが 1 リクエストあたり 1,048,576 トークンを受け付け、BroadNet はコンテキストを削りません。トークン課金のキーではキャッシュで繰り返しの長いプロンプトを手頃に保て、プランのセッションではプロンプトのサイズが請求に影響しません。コーパスが 100 万トークンをはるかに超える場合や毎分変わる場合は、やはり検索が必要で、それはウィンドウのサイズでは変わりません。

