گارڈریلز وہ جانچیں ہیں جو آپ ماڈل کے گرد لگاتے ہیں، تاکہ خراب ان پٹ یا خراب آؤٹ پٹ آپ کے کوڈ پر ہی رک جائے، آپ کے صارف تک نہ پہنچے۔
یہ کیسے کام کرتے ہیں
OpenAI Agents SDK گارڈریلز کو “checks and validations of user input and agent output” (ترجمہ: صارف کے ان پٹ اور ایجنٹ کے آؤٹ پٹ کی جانچ اور توثیق) کہتا ہے اور تین اقسام طے کرتا ہے:
| قسم | کب چلتا ہے | عام جانچ |
|---|---|---|
| ان پٹ | پہلی ماڈل کال سے پہلے یا اس کے ساتھ | موضوع سے ہٹی، توہین آمیز یا انجیکٹ کی گئی درخواستیں |
| آؤٹ پٹ | حتمی جواب کے بعد | لیک ہوئے راز، پالیسی کی خلاف ورزی، غلط فارمیٹ |
| ٹول | فنکشن ٹول چلنے سے پہلے اور بعد | آرگیومنٹس حد کے اندر ہوں، کوئی تباہ کن کارروائی نہ ہو |
جانچ ناکام ہونے پر ایک “tripwire” (ٹرپ وائر) ایکسیپشن اٹھاتا ہے اور رن روک دیتا ہے۔ ان پٹ جانچیں blocking ہو سکتی ہیں (مرکزی ماڈل شروع ہی نہیں ہوتا) یا parallel (کم تاخیر، لیکن ٹرپ وائر چلنے تک ٹوکن اور ٹول کالز خرچ ہو چکی ہو سکتی ہیں)۔
NVIDIA کی اوپن سورس NeMo Guardrails لائبریری پانچ مراحل استعمال کرتی ہے: input، retrieval، dialog، execution اور output rails۔ Anthropic کی دستاویزات ایک “harmlessness screen” (ترجمہ: بے ضرری کی اسکرین) تجویز کرتی ہیں: ایک چھوٹا، تیز ماڈل جو صارف کے ان پٹ کو مرکزی گفتگو تک پہنچنے سے پہلے درجہ بند کرتا ہے، اسٹرکچرڈ آؤٹ پٹ کے ساتھ، تاکہ فیصلہ پارس کیا جا سکنے والا true یا false ہو۔
ہر گارڈریل کو ماڈل کی ضرورت نہیں۔ Regex فلٹرز، allow-lists، JSON Schema ویلیڈیشن اور لمبائی کی حدیں سستی اور یقینی (deterministic) ہیں۔
یہ کیوں اہم ہیں
- حفاظت۔ گارڈریلز پرامپٹ انجیکشن اور جیل بریکس کے خلاف دفاع کی ایک تہہ ہیں۔ کوئی ایک تہہ ان سب کو نہیں روکتی۔
- لاگت۔ ایک سستی اسکرین کسی درخواست کو اس سے پہلے ہی رد کر سکتی ہے کہ کوئی مہنگا ماڈل 100,000 ٹوکن کا کانٹیکسٹ پڑھے۔
- ایجنٹس۔ ای میل بھیجنے یا ڈیٹا بدلنے والے ایجنٹ کو صرف حتمی متن پر فلٹر نہیں، بلکہ ٹول کی سطح پر جانچ اور زیادہ خطرے والے مراحل پر انسانی منظوری چاہیے۔
- انہیں ناپیں۔ اچھی درخواستیں روکنے والا گارڈریل ایک بگ ہے۔ eval سیٹ سے false positives پر نظر رکھیں۔
BroadNet Inference پر
BroadNet کی دستاویزات میں گارڈریلز، ماڈریشن اینڈپوائنٹس یا مواد کے فلٹرز درج نہیں۔ گارڈریلز کو اپنی ایپلیکیشن کا کام سمجھیں۔ ایک عام طریقہ یہ ہے: BroadNet Gemma 4 VL 26B ($0.10 فی 1M ان پٹ ٹوکن) جیسے چھوٹے ماڈل پر اسکرین، پھر بڑے ماڈل پر مرکزی کال۔ اگر ان پٹس میں ذاتی ڈیٹا ہے تو LLM API کو حساس ڈیٹا بھیجنا دیکھیں۔