Guardrails adalah pemeriksaan yang Anda pasang di sekitar model agar input atau output yang buruk berhenti di kode Anda, bukan sampai ke pengguna Anda.
Cara kerjanya
OpenAI Agents SDK menggambarkan guardrails sebagai “checks and validations of user input and agent output” (terjemahan: pemeriksaan dan validasi input pengguna dan output agen) dan mendefinisikan tiga jenis:
| Jenis | Kapan berjalan | Pemeriksaan umum |
|---|---|---|
| Input | Sebelum atau bersamaan dengan panggilan model pertama | Request di luar topik, kasar, atau berisi injeksi |
| Output | Setelah jawaban akhir | Rahasia yang bocor, pelanggaran kebijakan, format salah |
| Tool | Sebelum dan sesudah function tool berjalan | Argumen dalam rentang, tidak ada aksi destruktif |
Saat pemeriksaan gagal, sebuah “tripwire” memunculkan exception dan menghentikan run. Pemeriksaan input bisa bersifat memblokir (model utama tidak pernah mulai) atau paralel (latensi lebih rendah, tetapi token dan panggilan tool mungkin sudah terpakai saat tripwire terpicu).
Library open-source NeMo Guardrails dari NVIDIA memakai lima tahap: rail input, retrieval, dialog, execution, dan output. Dokumentasi Anthropic menyarankan “harmlessness screen” (terjemahan: penyaring keamanan): model kecil dan cepat yang mengklasifikasikan input pengguna sebelum mencapai percakapan utama, dengan output terstruktur agar putusannya berupa true atau false yang bisa di-parse.
Tidak semua guardrail membutuhkan model. Filter regex, allow-list, validasi JSON Schema, dan batas panjang itu murah dan deterministik.
Mengapa penting
- Keamanan. Guardrails adalah satu lapisan pertahanan terhadap prompt injection dan jailbreak. Tidak ada satu lapisan pun yang bisa menghentikan semuanya.
- Biaya. Penyaring murah bisa menolak request sebelum model mahal membaca 100.000 token konteks.
- Agen. Agen yang mengirim email atau mengubah data membutuhkan pemeriksaan di level tool dan persetujuan manusia untuk langkah berisiko tinggi, bukan hanya filter pada teks akhir.
- Ukur guardrails Anda. Guardrail yang memblokir request yang baik adalah bug. Pantau false positive dengan set eval.
Di BroadNet Inference
Dokumentasi BroadNet tidak mencantumkan guardrails, endpoint moderasi, atau filter konten. Anggap guardrails sebagai tugas aplikasi Anda. Pola yang umum adalah penyaring pada model yang lebih kecil seperti BroadNet Gemma 4 VL 26B ($0.10 per 1 juta token input), lalu panggilan utama pada model yang lebih besar. Jika input berisi data pribadi, lihat mengirim data sensitif ke API LLM.