---
title: "LLM API レスポンスのキャッシュでコスト削減（Python・SQLite） | BroadRouter"
description: "テスト済みの Python 製 LLM API レスポンス完全一致キャッシュ。キーに含めるもの、キャッシュしてはいけないもの、TTL、プライバシー、作る前にヒット率を測る方法を解説します。"
url: https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/cache-llm-responses-cut-cost/)（2026-11-15 更新）。

# LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ

BroadNet Inference チーム · 約 8 分で読めます · 公開日 2026-11-15

リクエスト全体（モデル、メッセージ、temperature、max\_tokens、response\_format、ツール、推論の設定、プロンプトバージョン）をハッシュしてキーにし、有効期限付きで回答を保存します。保存した回答は、決定的で副作用のないリクエストにだけ返します。まずログで同一リクエストの頻度を測ります。その割合が完全一致キャッシュの節約の上限です。

## 要点

-   完全一致キャッシュは、出力と推論のトークンを含めて呼び出し全体を節約しますが、バイト単位で同一のリクエストに限られます。言い換えた質問は必ずミスします。
-   回答を変えるパラメーターはすべてキーに入れ、プロンプトバージョンも加えます。1 つでも抜けると誤った回答を返し、タイムスタンプのようなノイズを入れるとすべてのリクエストがミスします。
-   サンプリングした回答（temperature が 0 より大きい）、ストリーミングの回答、ツール呼び出し、max\_tokens で切れた回答はキャッシュしないでください。
-   まず計測します：利用ログの各リクエストをハッシュし、繰り返しを数えます。公開されている節約率は、あなたのトラフィックについて何も語りません。
-   キャッシュにはプロンプトと回答が保存されます。プロバイダーが推論のコンテンツを保持しないなら、そのコンテンツはいまやキャッシュにあるので、TTL とアクセスルールを設けてください。

**このページの内容**

1.  レスポンスキャッシュはプロンプトキャッシュと同じか？
2.  キャッシュで本当にお金を節約できるか？
3.  キャッシュキーには何を入れるか？
4.  キャッシュ本体：SQLite、TTL、スキップのポリシー
5.  キャッシュから返してはいけないものは？
6.  キャッシュした回答はいつ期限切れにすべきか？
7.  セマンティックキャッシュはどうか？
8.  キャッシュはプライバシーにとって何を意味するか？
9.  キャッシュは他のコスト管理とどう組み合わせるか？
10.  BroadNet Inference が向いているケース

同じ LLM リクエストを 2 回送れば、2 回分の料金がかかります。レスポンスキャッシュは 1 回目に回答を保存し、次からはそれを返すので、トークンは課金されず待ち時間もありません。考え方は単純です。難しいのは、2 つのリクエストを「同一」とみなす条件、保存した回答を決して返してはいけないリクエスト、そして自分のトラフィックが意味のあるほど繰り返されるかどうかを判断することです。

この記事では、SQLite を使った小さな完全一致キャッシュを Python で作り、OpenAI 互換のモックサーバーでテストします。また、コードを 1 行も書く前に、ログからヒット率を測る方法も紹介します。

## レスポンスキャッシュはプロンプトキャッシュと同じか？

違います。節約するものが異なり、両方を併用できます。

|  | プロンプトキャッシュ（プロバイダー） | レスポンスキャッシュ（自分） |
| --- | --- | --- |
| 再利用するもの | プロンプトの繰り返される先頭部分 | 回答全体 |
| 実行するのは | API プロバイダー | 自分のコード |
| モデルは動くか？ | 動く。新しい回答を書く | 動かない |
| 節約できるもの | 入力費用の一部 | 入力、出力、推論のトークンとレイテンシ |
| ヒットする条件 | 共通のプレフィックス、異なる質問 | まったく同じリクエスト |

プロバイダー側は[キャッシュ入力トークン](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)で説明しており、[キャッシュのためのプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)では、プレフィックスが再利用されるようにプロンプトを配置する方法を紹介しています。費用は[プロンプトキャッシュ計算ツール](https://broadrouter.com/tools/prompt-caching-calculator/)で計算できます。レスポンスキャッシュはそのすべての手前にあり、ヒットすればリクエストはサーバーから一切出ていきません。

## キャッシュで本当にお金を節約できるか？

作る前に計測してください。多くのキャッシュのチュートリアルにある節約率は、他人のトラフィックから出た数字です。あなたの数字は 1 つのことだけで決まります。同じリクエストが有効期限内にもう一度来る頻度です。

[LLM API の利用ログ](https://broadrouter.com/ja/blog/llm-api-usage-logging/)のように呼び出しごとにすでにログを取っているなら、フィールドを 1 つ加えてください。後述するキャッシュキーである `request_hash` です。プロンプトのテキストは保存しないので、コンテンツを残さないログにも合います。そのうえで繰り返しを数えます。

```python
import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
```

20 回の呼び出しからなる合成ログ（1 つのリクエストが 5 回、別のものが 3 回、残り 12 回はすべて異なる）では、潜在的なヒット率は 30.0% と表示されました。これは上限です。有効期限を無視しており、すべての繰り返しを保存した回答で返してよいと仮定しています。

次に、その率を金額に換算します。

```text
monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000
```

出力トークンには推論が含まれます。BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論は `max_tokens` に含まれます。そのため 1 回のヒットで、回答には現れないトークンまで節約できます。回答の長さではなく、記録した `usage` の `completion_tokens` を使ってください。

トークンでの計算例：入力 1,200・出力 150 トークンのリクエストが月 100,000 件、ヒット率 30% なら、入力 3,600 万トークンと出力 450 万トークンを避けられます。[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) では、それぞれ 100 万あたり $0.175 と $0.52 で課金されます。自分の数字は [LLM API コスト計算ツール](https://broadrouter.com/tools/llm-api-cost-calculator/)に入れてください。その入力の大半がもともとプロバイダーのキャッシュにヒットしていたなら、入力の節約は低いキャッシュ単価（同じモデルで 100 万あたり $0.0055）で計算されるので、重要なのは出力側であることが多くなります。

## キャッシュキーには何を入れるか？

回答を変えうるものはすべて入れ、それ以外は入れません。

-   **含める：**`model`、`messages` リスト全体（システムプロンプトを含む）、`temperature`、`top_p`、`max_tokens`、`seed`、`response_format`、`tools`、`tool_choice`、`reasoning_effort`。
-   **自分で管理するプロンプトバージョンを加える**（例：`faq-v3`）。プロンプトテンプレート、検索データ、後処理など、リクエスト本文には現れないものを変えたときに上げます。
-   \*\*除外する：\*\*回答を変えずに呼び出しごとに変わるもの。リクエスト ID、タイムスタンプ、トレース用ヘッダー、不正利用の追跡のためだけに送る `user` フィールドなどです。

キーの材料は毎回同じ方法でシリアライズします。Python の `json.dumps` に `sort_keys=True` と `separators=(",", ":")` を指定すれば、辞書の順番に関係なく 1 つの正規化された文字列が得られます。`ensure_ascii=False` にすれば、アラビア語などのラテン文字以外のテキストがエスケープではなく UTF-8 のまま保たれます。それを SHA-256 でハッシュします。

もっとも危険なのは、フィールドの入れ忘れです。`max_tokens` がキーにないと、小さい上限で途中で切れた回答が、長い回答を許すリクエストに返されてしまいます。

## キャッシュ本体：SQLite、TTL、スキップのポリシー

```python
import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()
```

そして実行してみます。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
```

これを OpenAI Python SDK 3.51.0 で、上流への呼び出しを数え、回答ごとにプロンプト 1,200・出力 150 トークンを報告するローカルのモックサーバーに対して実行しました（実際の API は呼んでいません）。7 件のリクエストで、上流への呼び出しは 4 回でした。スクリプトの出力は `hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450` です。同じデータベースファイルでもう一度実行すると、キャッシュ可能な 6 件のリクエストはすべてヒットしました（`hits=6 misses=0`）。SQLite は再起動をまたいでキャッシュを保持します。同じフィールドを異なる順番で組み立てたキーも一致しました。

コードについての補足：

-   **`max_tokens=1200`** は、回答前の推論の余地を残すためです。上限が小さいと、推論モデルは空の回答を返すことがあります（[理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)）。そうした回答は `finish_reason` が `stop` ではなく `length` なので保存されません。
-   \*\*ヒット時は dict を返します。\*\*ミス時も `model_dump()` を返すので、呼び出し側は同じ形を受け取ります。コードが SDK のオブジェクトを前提にしているなら、両方をラップしてください。
-   \*\*`temperature` の指定がない場合はサンプリング扱いです。\*\*その場合サーバーは独自のデフォルト値を使い、それが 0 より大きいこともあるので、明示的に 0 を指定しない限りラッパーはキャッシュをスキップします。
-   \*\*SQLite は 1 つか少数のプロセス向きです。\*\*複数のサーバーがある場合は、同じキーと TTL のロジックを Redis や自分のデータベースに置いてください。

## キャッシュから返してはいけないものは？

-   \*\*サンプリングした回答（temperature が 0 より大きい）。\*\*多様性を選んだのはあなたです。キャッシュはそれを消してしまい、「再生成」を押したユーザーは同じテキストを受け取ります。
-   **個人に合わせた回答**。ユーザー ID がキーに入っていない限り不可です。「私のアカウントを要約して」と送る 2 人のユーザーのアカウントは別物です。より良い方法は、メッセージにユーザーごとのデータを含まないリクエストだけをキャッシュすることです。
-   **ツール呼び出し。**[ツール呼び出し](https://broadrouter.com/ja/glossary/tool-calling/)は行動の指示です。「注文 1182 を返金」を保存から再生すると副作用が繰り返されるおそれがあり、正しい次の手は現在の状態によります。このラッパーは `tool_calls` を含む回答を保存しません。
-   **ストリーミングの回答。**`stream=True` ではラッパーはキャッシュを迂回します。ストリームをキャッシュするにはバッファリングし、終了を確認し、再生する必要があり、チャット UI ではほとんど割に合いません。
-   \*\*途中で切れた回答や失敗した回答。\*\*保存するのは `finish_reason == "stop"` のものだけです。途中で切れた回答やエラーが 1 週間キャッシュされると、モデルの問題に見えるバグになります。
-   **時間に依存する回答。**「今日の為替レートは？」には短い TTL を設定するか、キャッシュしないでください。

キャッシュに向いているのは、決まった入力集合の分類、再処理するドキュメントからの抽出、固定プロンプトによる FAQ の回答、繰り返し実行するテストスイートや評価、同じリクエストを何度も送る開発中のループです。

## キャッシュした回答はいつ期限切れにすべきか？

3 種類の無効化を使います。

1.  \*\*TTL。\*\*エントリーごとの時間制限です。安定した FAQ の回答なら数日、ライブデータを読むものなら数分です。
2.  \*\*キーに含めたバージョン。\*\*システムプロンプト、検索インデックス、出力スキーマが変わったらプロンプトバージョンを変えます。古いエントリーは一致しなくなり、やがて期限切れになります。
3.  \*\*キーに含めたモデル。\*\*すでに含まれているので、別のモデルに移ると新しいキャッシュから始まります。[切り替えを評価する](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)間は、まさにそれが望ましい動作です。

期限切れの行は定期的に削除してください（`DELETE FROM cache WHERE created < ?`）。そうしないとファイルは増える一方です。

副次的な利点もあります。推論エンジンは、同一の入力に同一の出力を約束しません。vLLM のドキュメントには “does not guarantee the reproducibility of the results by default”（訳：デフォルトでは結果の再現性を保証しません）とあります。キャッシュがあれば、エントリーが有効な間、同じ質問には全ユーザーに同じ回答が返ります。

## セマンティックキャッシュはどうか？

セマンティックキャッシュは各質問を埋め込み、新しい質問が十分に近ければ保存した回答を返します。そのため「返金はどれくらいかかる？」が「返金にはどれくらい時間がかかりますか？」にヒットできます。もっとも有名なオープンソースの例が GPTCache です。その README によると、類似検索にはベクトルストアを、ヒットの判定には類似度評価器を使い、“you may encounter false positives during cache hits and false negatives during cache misses”（訳：キャッシュヒット時に偽陽性、キャッシュミス時に偽陰性が起こることがあります）と注意を促し、埋め込みを無効にするとキーワード照合のキャッシュになると述べています。

実務上のポイントが 2 つあります。第一に、[埋め込み](https://broadrouter.com/ja/glossary/embeddings/)モデルとベクトルストアが必要です。BroadNet Inference は埋め込みを提供していないので、この層には別のプロバイダーかローカルモデルを使うことになります。選択肢の費用は[埋め込みコスト計算ツール](https://broadrouter.com/tools/embedding-cost-calculator/)で計算できます。第二に、誤ったヒットは別の質問に自信ありげな回答を返します。厳しい類似度のしきい値を使い、実際の紛らわしい質問のペアでテストし、セマンティックキャッシュは影響の小さい回答に限ってください。いずれにしても完全一致キャッシュを手前に置きます。確認は無料で、何を聞かれたかを取り違えることがありません。

## キャッシュはプライバシーにとって何を意味するか？

キャッシュはプロンプトと回答の保存場所です。それによって、データの所在が変わります。

BroadNet の[推論プライバシー声明](https://www.broadnet.ai/inference-privacy)（2026-11-15 確認）によると、ゲートウェイはプロンプト、メッセージ、レスポンス、文字起こしを保持せず、コンテンツを含まないトラフィックと利用の記録（トークン数、費用、所要時間）は保持します。推論のコンテンツは保持されません。必要なアカウント、課金、セキュリティのメタデータは声明の記載どおりに保持されます。レスポンスキャッシュを加えると、プロバイダーが保持しないコンテンツをあなたのシステムが保持することになります。他のユーザーデータの保存場所と同じように扱ってください。

-   可能なら個人データを含まないリクエストだけをキャッシュします。これでヒット率も上がります。
-   保持ポリシーに見合う短さの TTL を設定し、定期的に削除します。
-   ファイルやテーブルを保存時に暗号化し、読める人を限定します。
-   キャッシュにユーザーのテキストが入りうるなら、データ削除の依頼の対象に含めます。

チェックリストの残りは[機密データを LLM API に送る](https://broadrouter.com/ja/blog/llm-api-sensitive-data/)で扱っています。

## キャッシュは他のコスト管理とどう組み合わせるか？

キャッシュは繰り返しの呼び出しをなくしますが、一度きりの呼び出しには何もしません。そのため他の管理手段を置き換えるのではなく、並べて使います：[短いプロンプト](https://broadrouter.com/ja/blog/reduce-prompt-tokens/)、プロバイダーのプロンプトキャッシュ、リクエストごとの `max_tokens` の上限、そして [LLM API の支出管理](https://broadrouter.com/ja/blog/llm-api-spend-control/)の予算とループの制限です。大規模な一回きりのジョブでは、送る前に入力を重複排除してください。キャッシュと同じ考え方を 1 回だけ行うものです。ジョブ側は [Batch API なしで大規模ジョブを処理する](https://broadrouter.com/ja/blog/llm-batch-processing-without-batch-api/)で紹介しています。

定額プランでは計算が変わります。BroadNet の DeepSeek セッションにはトークンメーターがないので、そこではキャッシュがヒットしてもお金は節約できません。それでも時間は節約できます。セッションは一度に 1 リクエストずつ処理するので、繰り返しを 1 回省くたびに、セッションが新しい作業に使えるようになります。

## BroadNet Inference が向いているケース

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference は DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B、Gemma 4 VL 26B を OpenAI 互換の `/v1/chat/completions` エンドポイントで提供しているので、上のラッパーはベース URL を変えるだけで [OpenAI Python SDK](https://broadrouter.com/ja/guides/openai-python-sdk/) と一緒に使えます。BroadNet 自体にはレスポンスキャッシュの機能はなく、この記事のキャッシュはあなたのものです。[API リファレンス](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-cache-llm-responses-cut-cost&utm_content=body)によると、プロバイダー側のキャッシュヒットは `usage.prompt_tokens_details.cached_tokens` で報告され、キャッシュ入力単価で課金されます。モデルごとの料金は[料金ページ](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-cache-llm-responses-cut-cost&utm_content=body)にあります。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

[エンベディング（埋め込み、embeddings）](https://broadrouter.com/ja/glossary/embeddings/)

エンベディング（埋め込み）とは、テキストや画像などの入力を表すためにモデルが出力する浮動小数点数のリスト（ベクトル）です。意味の近い入力ほどベクトルも近いので、その距離で検索結果の順位付け、文書の分類、関連項目の発見ができます。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[ベクトルデータベース（vector database）](https://broadrouter.com/ja/glossary/vector-database/)

ベクトルデータベースとは、エンベディングのベクトルを多くの場合元のテキストやメタデータとともに保存し、最近傍検索に答えるデータストアです。クエリベクトルに最も似た保存済みベクトルを、主にコサイン距離、ユークリッド距離、内積で返します。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[PII（個人を特定できる情報）](https://broadrouter.com/ja/glossary/pii/)

PII（個人を特定できる情報）とは、氏名、ID 番号、生体情報など個人の身元を識別・追跡できる情報と、その人に結び付いた、または結び付けうる情報です。GDPR ではより広い「個人データ」を使います。LLM では、プロンプトが社外に出る前に PII をマスキングします。

[temperature（温度）](https://broadrouter.com/ja/glossary/temperature/)

temperature（温度）とは、言語モデルの出力のランダム性を決めるサンプリングのパラメーターです。トークンのスコアをこの値で割ってから確率にするため、低いと最有力のトークンが支配的になり、高いと分布が平らになって確率の低いトークンも選ばれやすくなります。

## よくある質問

### プロンプトキャッシュとレスポンスキャッシュの違いは何ですか？

プロンプトキャッシュはプロバイダーが行うもので、繰り返されるプロンプトのプレフィックスが低いキャッシュ入力単価で課金され、モデルは新しい回答を書きます。レスポンスキャッシュは自分で行うもので、回答をまるごと保存し、同一のリクエストにはモデルを呼ばずにそれを返します。

### temperature 0 の LLM レスポンスはキャッシュすべきですか？

リクエストに副作用がなく、送ってきた全員に同じ回答を返して問題ないなら、キャッシュすべきです。temperature 0 でも推論エンジンが同一の出力を返す保証はないので、キャッシュには回答を一貫させる効果もあります。temperature が 0 より大きいか指定がない場合はキャッシュしないでください。

### LLM のレスポンスキャッシュでどれだけ節約できますか？

有効期限内に完全に繰り返されるリクエストの割合に、それらのリクエストの費用を掛けた額です。その割合は、自分のログで繰り返されるリクエストハッシュを数えれば得られます。自由形式のチャットではほぼゼロ、決まった FAQ や分類の入力では高くなることがあります。

### セマンティックキャッシュは完全一致キャッシュより優れていますか？

似た質問も一致するのでヒットは増えますが、別の質問への回答を返すことがあります。埋め込みモデルとベクトルストアも必要です。まず完全一致キャッシュから始め、誤ったヒットの代償が小さい箇所にだけセマンティックの層を加えてください。

### ストリーミングのレスポンスはキャッシュできますか？

この記事の簡単なラッパーではできません。ストリーム全体を集め、正常に終わったか確認し、保存し、あとでストリームとして再生する必要があります。ほとんどのチームは、分類、抽出、FAQ の回答など、ストリーミングしない呼び出しだけをキャッシュしています。

## 続けて読む

-   [キャッシュ入力トークンとは：LLM API の請求額を下げる方法](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)
-   [プレフィックスがキャッシュされるプロンプトの組み立て方](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)
-   [LLM API の支出管理：予算、キーの制限、ループ対策](https://broadrouter.com/ja/blog/llm-api-spend-control/)
-   [プロンプトのトークンを減らす：システムプロンプト、ツール、データの実測](https://broadrouter.com/ja/blog/reduce-prompt-tokens/)
-   [LLM API の利用ログ：ユーザー別・機能別のコストと PII のマスキング](https://broadrouter.com/ja/blog/llm-api-usage-logging/)
-   [Batch API なしで LLM を一括処理する：再開できるランナー](https://broadrouter.com/ja/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [文書 AI のワークフローに人手のレビューを組み込む](https://broadrouter.com/ja/blog/document-review-queues/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-cache-llm-responses-cut-cost&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス：推論は max\_tokens に含まれる、推論とキャッシュトークンの usage フィールド、従量課金の制限（2026-11-15 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-cache-llm-responses-cut-cost&utm_content=sources)
-   [BroadNet 推論プライバシー声明：プロンプト、メッセージ、レスポンス、文字起こしは保持せず、コンテンツを含まないトラフィックと利用の記録は保持（2026-11-15 確認）（英語）](https://www.broadnet.ai/inference-privacy)
-   [GitHub の GPTCache：埋め込みと類似度評価器によるセマンティックキャッシュ、偽陽性と偽陰性、埋め込みなしのキーワード照合モード（2026-11-15 確認）](https://github.com/zilliztech/GPTCache)
-   [vLLM ドキュメント「Reproducibility」：“vLLM does not guarantee the reproducibility of the results by default”（訳：vLLM はデフォルトでは結果の再現性を保証しません）（2026-11-15 確認）](https://docs.vllm.ai/en/latest/usage/reproducibility.html)
-   [Python ドキュメント json モジュール：json.dumps の sort\_keys、separators、ensure\_ascii（2026-11-15 確認）](https://docs.python.org/3/library/json.html)
