BroadRouter

Cách cấu trúc prompt để phần đầu được cache

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày · Cập nhật

Sắp xếp mọi request từ ổn định nhất tới kém ổn định nhất: system prompt, định nghĩa tool, tài liệu tham khảo, lịch sử hội thoại, rồi message mới. Giữ mỗi lớp giống hệt từng byte giữa các lần gọi: không để thời gian hay ID ở đầu, sắp xếp tool, tuần tự hóa JSON xác định, lịch sử chỉ nối thêm. Rồi đo cached_tokens để xác nhận phần đầu được tái sử dụng.

Token đầu vào từ cache rất rẻ, và trên BroadNet Inference, DeepSeek V4.1 Flash tính chúng $0.0055 mỗi 1M thay vì $0.175. Bài giải thích token từ cache đề cập giá và cách đọc trường usage. Bài này nói về phần thiết kế: cách sắp xếp prompt để cache thực sự trúng, và cách chứng minh điều đó.

Vì sao thứ tự prompt quyết định tỷ lệ cache hit?

Mọi nhà cung cấp lớn đều cache theo phần đầu (prefix). Hướng dẫn của OpenAI nói việc tái sử dụng đòi hỏi toàn bộ phần đầu đã render phải khớp. Tài liệu của DeepSeek mô tả cùng quy tắc: một request chỉ trúng nếu khớp hoàn toàn một phần đầu đã lưu, và request lệch ở giữa chừng thì không trúng. Anthropic xây cache theo thứ tự tool, system, message.

Bên dưới, máy chủ tái sử dụng KV cache mà nó đã dựng cho phần đầu đó. Vì vậy cache là một đường thẳng tính từ token đầu tiên. Byte đầu tiên khác với lời gọi trước sẽ kết thúc phần tái sử dụng được. Một dòng thời gian ở đầu một prompt 50.000 token khiến bạn phải trả giá đầy đủ cho cả 50.000 token.

Thứ tự lớp đúng là gì?

Lớp Thay đổi khi Ví dụ Quy tắc
1. System prompt Mỗi lần deploy Vai trò, quy tắc, định dạng đầu ra Không có ngày, ID, tên người dùng
2. Định nghĩa tool Mỗi lần deploy Schema của hàm JSON đã sắp xếp, xác định
3. Tài liệu tham khảo Mỗi phiên hoặc tác vụ File trong repo, hợp đồng, tài liệu sản phẩm Thứ tự cố định, nhãn ổn định
4. Lịch sử hội thoại Mỗi lượt, chỉ nối thêm Các lượt người dùng và trợ lý trước đó Không bao giờ sửa; chỉ thêm
5. Message mới Mọi lời gọi Câu hỏi, cộng thời gian hiện tại nếu cần Dữ liệu hay thay đổi đặt ở đây

Lớp 5 là nơi dành cho mọi thứ hay thay đổi: ngày hiện tại, locale của người dùng, request ID, các đoạn truy xuất khác nhau theo từng câu hỏi.

Điều gì phá phần đầu mà bạn không nhận ra?

  1. Thứ tự dictionary. Framework thường dựng mảng tools từ một dict hoặc registry. Nếu plugin nạp theo thứ tự khác, các byte sẽ thay đổi.
  2. Định dạng JSON. json.dumps(x) và json.dumps(x, indent=2) là hai phần đầu khác nhau. Hai bộ tuần tự hóa với thứ tự key khác nhau cũng vậy.
  3. Khoảng trắng trong template. Một dấu cách thừa ở cuối, hoặc \r\n từ một nhánh code và \n từ nhánh khác.
  4. Danh sách tool động. Gỡ các tool mà người dùng không được dùng sẽ làm thay đổi phần đầu. Hướng dẫn của OpenAI khuyên giữ định nghĩa ổn định và giới hạn việc dùng bằng tool_choice hoặc thiết lập allowed-tools.
  5. Tóm tắt lịch sử tại chỗ. Viết lại các lượt cũ thành bản tóm tắt sẽ đặt lại mọi thứ sau system prompt. Hãy tóm tắt thưa và theo từng bước lớn.
  6. Truy xuất đặt trước chỉ dẫn. Các đoạn RAG nằm giữa system prompt và tool khác nhau theo từng truy vấn và phá luôn cả lớp tool.

Dựng một request thân thiện với cache bằng code thế nào?

Hãy làm cho mỗi lớp chỉ phụ thuộc vào đầu vào ổn định, và tuần tự hóa một cách xác định:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

Hai chi tiết. Thời gian hiện tại nằm trong message cuối, không nằm trong system prompt. Và lịch sử lưu message của trợ lý đúng như được trả về, nên lời gọi tiếp theo gửi lại đúng các byte giống hệt.

Làm sao chứng minh phần đầu đã được cache?

Chạy một phép thử hai lời gọi trong CI hoặc notebook:

  1. Dựng một request với system prompt, tool và tài liệu thật của bạn.
  2. Gửi đi. Ghi lại usage.prompt_tokens.
  3. Chỉ thay đổi message người dùng cuối cùng và gửi lại.
  4. Đọc usage.prompt_tokens_details.cached_tokens ở lời gọi thứ hai. Nó phải bao phủ gần hết phần đầu dùng chung.
  5. Nếu bằng không hoặc nhỏ, hãy so từng byte phần thân request đã tuần tự hóa. Chỗ khác biệt đầu tiên chính là thứ phá cache.

Ở phần lớn nhà cung cấp, cache hoạt động theo kiểu cố gắng tối đa (best-effort), và tài liệu của DeepSeek nói thẳng điều đó, nên một lần trượt chưa phải bằng chứng có bug. Trượt liên tục mới là bằng chứng. Hãy theo dõi tỷ lệ token từ cache trên token prompt của mỗi request trong log mức dùng, và dùng công cụ tính prompt caching để xem tỷ lệ trúng cao hơn tiết kiệm được bao nhiêu.

Với agent và context dài thì có gì khác?

Agent hưởng lợi nhiều nhất vì chúng gửi lại cùng một phần đầu lớn hàng chục lần mỗi tác vụ. Hai thói quen quan trọng:

  • Mỗi tác vụ một cuộc hội thoại. Bắt đầu hội thoại mới cho mỗi bước con sẽ vứt bỏ phần đầu.
  • Đọc file một lần, gần đầu prompt. Nếu agent đọc lại một file, hãy nối bản mới vào sau thay vì thay bản cũ, trừ khi file đã thay đổi.

Với cửa sổ context 1M token, lớp 3 có thể chứa cả một repository. Điều đó chỉ kham nổi trên key trả theo token khi nó được cache, và đó là lý do thứ tự lớp càng quan trọng khi prompt càng lớn. Phần đầu được cache cũng thường giảm thời gian tới token đầu tiên; xem TTFT và thông lượng.

BroadNet Inference phù hợp ở đâu

Trên BroadNet Inference, khối usage báo cáo prompt_tokens_details.cached_tokens khi model có báo cáo, và đầu vào từ cache trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B được tính theo mức giá thấp hơn ghi trên trang giá. Tài liệu của BroadNet không cung cấp điểm ngắt cache tường minh hay tham số cache key, nên bố cục ở trên là toàn bộ kỹ thuật. Trên gói không giới hạn, cache không thay đổi hóa đơn vì phiên không đếm token, nhưng cùng cấu trúc đó vẫn giúp giảm độ trễ.

Câu hỏi thường gặp

Vì sao tỷ lệ cache hit của prompt thấp?

Có thứ gì đó gần đầu prompt thay đổi ở mỗi lời gọi. Nguyên nhân thường gặp là thời gian hoặc request ID trong system prompt, tool được tuần tự hóa theo thứ tự khác, tài liệu truy xuất được đặt trước phần chỉ dẫn, hoặc lịch sử bị tóm tắt và viết lại.

Câu hỏi của người dùng nên đặt trước hay sau tài liệu dài?

Sau. Đặt tài liệu trước và câu hỏi cuối cùng. Khi đó tài liệu tạo thành một phần đầu tái sử dụng được, và nhiều model cũng trả lời tốt hơn khi câu hỏi đứng sau tài liệu.

Định nghĩa tool có phá prompt caching không?

Chỉ khi chúng thay đổi. Tool là một phần của phần đầu prompt, nên hãy giữ cùng một bộ tool, cùng thứ tự, cùng JSON. Để giới hạn tool cho một lời gọi, hãy dùng tool_choice thay vì sửa danh sách.

Thứ tự ví dụ few-shot có ảnh hưởng tới cache không?

Có. Ví dụ bị xáo trộn tạo ra một phần đầu khác mỗi lần. Hãy cố định thứ tự, hoặc đặt các ví dụ thay đổi theo từng request sau phần ổn định.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity