System prompt adalah bagian permintaan yang tidak pernah diketik pengguna akhir. Bagian ini memberi tahu model untuk siapa ia bekerja dan bagaimana harus bersikap.
Cara kerjanya
Dalam format Chat Completions, messages adalah daftar objek yang masing-masing punya role. Objek pertama biasanya berisi instruksi tetap:
{"messages": [
{"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
{"role": "user", "content": "Can I change my flight?"}
]}
(Dalam contoh ini, system prompt menjadikan model agen dukungan sebuah maskapai yang menjawab dalam dua kalimat dan tidak pernah menyebut tarif; pengguna bertanya apakah ia bisa mengubah penerbangannya.)
Referensi API OpenAI menggambarkan pesan system dan developer sebagai “developer-provided instructions that the model should follow, regardless of messages sent by the user” (terjemahan: instruksi dari developer yang harus diikuti model, terlepas dari pesan yang dikirim pengguna), dan menyebut pesan developer menggantikan pesan system pada o1 dan model yang lebih baru. Panduan teksnya menempatkan pesan developer “ahead of user messages” (terjemahan: di atas pesan pengguna) dalam urutan prioritas. Anthropic menerima system prompt sebagai parameter system terpisah di tingkat atas, bukan sebagai pesan, dan mencatat bahwa satu kalimat yang menetapkan peran pun sudah “focuses Claude’s behavior and tone” (terjemahan: memfokuskan perilaku dan gaya bahasa Claude).
Isi yang umum: peran, tugas, aturan wajib, format output, dan terkadang contoh (few-shot prompting).
Kenapa ini penting
- Biaya. System prompt dikirim ulang di setiap panggilan sebagai token input. Prompt 2.000 token dikali 10.000 permintaan berarti 20 juta token.
- Caching. Karena isinya sama dan selalu di awal, system prompt adalah prefiks yang paling mudah di-cache. Taruh data yang berubah, seperti tanggal atau nama pengguna, setelahnya. Tulisan tentang struktur prompt untuk caching menunjukkan urutannya.
- Keamanan. System prompt adalah lapisan kebijakan, bukan batas keamanan. Prompt injection di dokumen atau teks pengguna tetap bisa membelokkan model.
Di BroadNet Inference
BroadNet melayani format chat completions OpenAI, jadi pesan system dimasukkan ke messages seperti di atas. Contoh di dokumentasinya memakai satu pesan user dan tidak menjelaskan bagaimana tiap model menangani peran system atau developer; uji prompt Anda di model yang akan Anda rilis.
BroadNet melaporkan prompt_tokens_details.cached_tokens di usage dan menagih token tersebut dengan harga input cache. Contoh hitungan di DeepSeek V4.1 Flash dengan 20 juta token di atas: 20 × $0.175 jika tidak ada yang ter-cache, atau 20 × $0.0055 jika setiap pembacaan mengenai cache. Tingkat hit yang sebenarnya ada di antara keduanya; periksa cached_tokens untuk melihat angka Anda. Panduan cepat curl menunjukkan permintaan pertama.
Kesalahan umum
- Menaruh timestamp di bagian atas system prompt. Nilainya berubah setiap panggilan dan merusak cache.
- Menyimpan rahasia di system prompt. Pengguna sering bisa membuat model mengulangnya.