System prompt là phần của request mà người dùng cuối không bao giờ gõ. Nó cho model biết đang làm việc cho ai và phải cư xử ra sao.
Cách hoạt động
Trong định dạng Chat Completions, messages là danh sách các object có role. Object đầu tiên thường chứa chỉ dẫn cố định:
{"messages": [
{"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
{"role": "user", "content": "Can I change my flight?"}
]}
System prompt trong ví dụ đặt model làm nhân viên hỗ trợ của một hãng bay, trả lời trong hai câu và không bao giờ báo giá vé.
Tài liệu tham chiếu API của OpenAI mô tả cả message system lẫn developer là “developer-provided instructions that the model should follow, regardless of messages sent by the user” (Bản dịch: chỉ dẫn do nhà phát triển cung cấp mà model phải tuân theo, bất kể tin nhắn người dùng gửi), và cho biết developer message thay thế system message trên o1 và các model mới hơn. Hướng dẫn văn bản của OpenAI xếp developer message “ahead of user messages” (Bản dịch: trước tin nhắn người dùng) về mức ưu tiên. Anthropic nhận system prompt qua một tham số system riêng ở cấp cao nhất thay vì một message, và lưu ý rằng chỉ một câu đặt vai trò cũng “focuses Claude’s behavior and tone” (Bản dịch: định hướng hành vi và giọng điệu của Claude).
Nội dung thường gặp: vai trò, nhiệm vụ, quy tắc bắt buộc, định dạng đầu ra, đôi khi có ví dụ (few-shot prompting).
Vì sao quan trọng
- Chi phí. System prompt được gửi lại trong mọi lệnh gọi dưới dạng token đầu vào. Một prompt 2.000 token qua 10.000 request là 20 triệu token.
- Cache. Vì giống hệt nhau và đứng đầu, system prompt là phần đầu dễ cache nhất. Hãy đặt dữ liệu thay đổi, như ngày tháng hay tên người dùng, sau nó. Bài viết về cấu trúc prompt để tận dụng cache chỉ ra thứ tự.
- An toàn. Đây là một lớp chính sách, không phải ranh giới bảo mật. Prompt injection trong tài liệu hoặc văn bản người dùng vẫn có thể kéo model đi chệch hướng.
Trên BroadNet Inference
BroadNet phục vụ cấu trúc chat completions của OpenAI, nên system message nằm trong messages như trên. Các ví dụ trong tài liệu chỉ dùng một user message và không mô tả từng model xử lý vai trò system hay developer thế nào; hãy thử prompt trên chính model bạn đưa vào sản phẩm.
BroadNet báo prompt_tokens_details.cached_tokens trong usage và tính phí các token đó theo giá đầu vào từ cache. Ví dụ tính trên DeepSeek V4.1 Flash với 20 triệu token ở trên: 20 × $0.175 nếu không có gì được cache, hoặc 20 × $0.0055 nếu mọi lần đọc đều trúng cache. Tỷ lệ trúng thực tế nằm giữa hai mức; hãy xem cached_tokens để biết của bạn. Hướng dẫn nhanh với curl trình bày request đầu tiên.
Lỗi thường gặp
- Đặt timestamp ở đầu system prompt. Nó thay đổi mỗi lệnh gọi và phá cache.
- Lưu bí mật trong system prompt. Người dùng thường có thể khiến model lặp lại nó.