BroadRouter

Guardrails (pagar pengaman AI)

Diperbarui

Guardrails adalah pemeriksaan yang dijalankan aplikasi di sekitar panggilan model bahasa agar tetap dalam batas yang ditetapkan. Guardrail input menyaring apa yang masuk ke model, guardrail output memeriksa apa yang keluar, dan guardrail tool memvalidasi aksi sebelum dijalankan. Pemeriksaan yang gagal akan memblokir, menulis ulang, atau menandai request.

Disebut juga: guardrails, guardrail AI, guardrail LLM, pagar pengaman AI, pembatas keamanan AI, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails adalah pemeriksaan yang Anda pasang di sekitar model agar input atau output yang buruk berhenti di kode Anda, bukan sampai ke pengguna Anda.

Cara kerjanya

OpenAI Agents SDK menggambarkan guardrails sebagai “checks and validations of user input and agent output” (terjemahan: pemeriksaan dan validasi input pengguna dan output agen) dan mendefinisikan tiga jenis:

Jenis Kapan berjalan Pemeriksaan umum
Input Sebelum atau bersamaan dengan panggilan model pertama Request di luar topik, kasar, atau berisi injeksi
Output Setelah jawaban akhir Rahasia yang bocor, pelanggaran kebijakan, format salah
Tool Sebelum dan sesudah function tool berjalan Argumen dalam rentang, tidak ada aksi destruktif

Saat pemeriksaan gagal, sebuah “tripwire” memunculkan exception dan menghentikan run. Pemeriksaan input bisa bersifat memblokir (model utama tidak pernah mulai) atau paralel (latensi lebih rendah, tetapi token dan panggilan tool mungkin sudah terpakai saat tripwire terpicu).

Library open-source NeMo Guardrails dari NVIDIA memakai lima tahap: rail input, retrieval, dialog, execution, dan output. Dokumentasi Anthropic menyarankan “harmlessness screen” (terjemahan: penyaring keamanan): model kecil dan cepat yang mengklasifikasikan input pengguna sebelum mencapai percakapan utama, dengan output terstruktur agar putusannya berupa true atau false yang bisa di-parse.

Tidak semua guardrail membutuhkan model. Filter regex, allow-list, validasi JSON Schema, dan batas panjang itu murah dan deterministik.

Mengapa penting

  • Keamanan. Guardrails adalah satu lapisan pertahanan terhadap prompt injection dan jailbreak. Tidak ada satu lapisan pun yang bisa menghentikan semuanya.
  • Biaya. Penyaring murah bisa menolak request sebelum model mahal membaca 100.000 token konteks.
  • Agen. Agen yang mengirim email atau mengubah data membutuhkan pemeriksaan di level tool dan persetujuan manusia untuk langkah berisiko tinggi, bukan hanya filter pada teks akhir.
  • Ukur guardrails Anda. Guardrail yang memblokir request yang baik adalah bug. Pantau false positive dengan set eval.

Di BroadNet Inference

Dokumentasi BroadNet tidak mencantumkan guardrails, endpoint moderasi, atau filter konten. Anggap guardrails sebagai tugas aplikasi Anda. Pola yang umum adalah penyaring pada model yang lebih kecil seperti BroadNet Gemma 4 VL 26B ($0.10 per 1 juta token input), lalu panggilan utama pada model yang lebih besar. Jika input berisi data pribadi, lihat mengirim data sensitif ke API LLM.

Pertanyaan umum

Apakah guardrails bagian dari model?

Tidak. Model punya penolakan hasil pelatihannya sendiri, tetapi guardrails adalah kode atau panggilan model terpisah yang dijalankan aplikasi Anda sebelum dan sesudah panggilan utama. Anda yang menentukan apa yang diperiksa.

Apakah guardrails menambah latensi?

Pemeriksaan input yang memblokir menambah satu panggilan ekstra sebelum model utama mulai. OpenAI Agents SDK juga bisa menjalankan guardrail input secara paralel, yang menghemat waktu tetapi bisa menghabiskan token sebelum pemeriksaannya terpicu.

Apakah BroadNet Inference menyertakan guardrails?

Dokumentasi BroadNet tidak mencantumkan guardrails atau filter konten sebagai fitur. Bangun di aplikasi Anda, misalnya dengan model kecil sebagai penyaring dan validasi skema pada output.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity