プロンプトは一度書くものです。コンテキストはモデルが各ターンで見るものすべてで、エージェントでは毎ターン変わります。
仕組み
Anthropic のエンジニアリング記事は、コンテキストエンジニアリングを推論中の “the set of strategies for curating and maintaining the optimal set of tokens”(訳:最適なトークンの集合を選び抜き、維持するための一連の戦略)と説明しており、プロンプト以外の情報も含みます。目標は、望む結果が得られやすくなる “smallest possible set of high-signal tokens”(訳:できるだけ小さく、情報価値の高いトークンの集合)を見つけることだとしています。
理由は注意力に限りがあることです。記事によれば、モデルには “attention budget”(訳:注意の予算)があり、コンテキストが長くなるほど想起が落ちます。記事はこれをコンテキストの劣化(context rot)と呼んでいます。位置も影響します。長いプロンプトの中ほどにある事実は見落とされやすくなります(lost in the middle)。
記事は、長時間動くエージェント向けにいくつかの手法を挙げています。
| 手法 | 内容 |
|---|---|
| 圧縮(compaction) | 上限が近づいたら履歴を要約し、その要約から続ける |
| ツール結果の消去 | 古い生のツール出力を履歴から捨てる |
| 構造化メモ | エージェントがコンテキスト外のファイルにメモを書き、後で読み直す |
| サブエージェント | まっさらなコンテキストで特定の作業をこなし、短い要約を返す |
| ジャストインタイム検索 | 参照(ファイルパス、クエリ)だけを持ち、必要なときにデータを読み込む |
コーディングエージェントの 1 ターン分の予算の例です。
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
なぜ重要か
- 品質。 コンテキストのノイズが少ないほど、たいてい回答は良くなり、指示の見落としも減ります。
- コスト。 トークン課金では、コンテキスト内のすべてのトークンにターンごとに料金がかかります。変わらない内容を先頭に置けば、より安いキャッシュ入力として課金されます。キャッシュを意識したプロンプト構成を参照してください。
- 稼働時間。 コンテキストをうまく管理すれば、エージェントはコンテキストウィンドウの上限に当たらずに何時間も作業できます。
BroadNet Inference では
コンテキストエンジニアリングはお使いのコードの中で行います。BroadNet の Chat Completions API は、送られてきたメッセージリストをそのまま受け取ります。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144、Gemma 4 VL 26B は 32K を受け付けるため、コンテキストを絞り込むことが最も重要なのは Gemma です。
モデルが返す場合、usage.prompt_tokens_details.cached_tokens にキャッシュから読まれたトークン数が表示され、従量課金ではその分がキャッシュ入力の料金で課金されます。長時間動くエージェントのコンテキスト管理では実践的なルールを 5 つ紹介しており、エージェントのトークン予算の記事では、エージェントのトークンがどこに使われているかを示しています。