ضوابط الحماية هي الفحوص التي تحيط بها النموذج حتى يتوقف المدخل السيئ أو المخرج السيئ عند شيفرتك، لا عند مستخدمك.
كيف تعمل
يصف OpenAI Agents SDK ضوابط الحماية بأنها “checks and validations of user input and agent output” (ترجمة: فحوص وتحققات لمدخلات المستخدم ومخرجات الوكيل)، ويعرّف ثلاثة أنواع:
| النوع | متى يعمل | فحص نموذجي |
|---|---|---|
| الإدخال | قبل استدعاء النموذج الأول أو بالتوازي معه | طلبات خارج الموضوع أو مسيئة أو محقونة |
| الإخراج | بعد الإجابة النهائية | تسرّب أسرار، أو خرق سياسات، أو تنسيق خاطئ |
| الأدوات | قبل تنفيذ أداة دالّة وبعده | وسائط ضمن النطاق، لا إجراءات تدميرية |
حين يفشل فحص، يرفع “tripwire” (مشغِّل إيقاف) استثناءً ويوقف التشغيل. ويمكن أن تكون فحوص الإدخال حاجبة (لا يبدأ النموذج الرئيسي أبدًا) أو متوازية (زمن استجابة أقل، لكن الرموز واستدعاءات الأدوات قد تكون استُهلكت بالفعل حين ينطلق المشغِّل).
وتستخدم مكتبة NeMo Guardrails مفتوحة المصدر من NVIDIA خمس مراحل: ضوابط الإدخال والاسترجاع والحوار والتنفيذ والإخراج. وتقترح وثائق Anthropic “harmlessness screen” (فحص عدم الضرر): نموذج صغير وسريع يصنّف مدخلات المستخدم قبل وصولها إلى المحادثة الرئيسية، مع مخرجات مهيكلة حتى يكون الحكم قيمة صح أو خطأ قابلة للتحليل.
ولا يحتاج كل ضابط إلى نموذج. فمرشّحات التعابير النمطية وقوائم السماح والتحقق عبر JSON Schema وحدود الطول رخيصة وحتمية.
لماذا تهم
- الأمان. ضوابط الحماية طبقة دفاع واحدة ضد حقن الأوامر وكسر القيود. ولا توجد طبقة واحدة توقفها كلها.
- التكلفة. يستطيع فحص رخيص رفض طلب قبل أن يقرأ نموذج مكلف 100,000 رمز من السياق.
- الوكلاء. الوكيل الذي يرسل بريدًا إلكترونيًا أو يعدّل بيانات يحتاج إلى فحوص على مستوى الأدوات وموافقة بشرية للخطوات عالية الخطورة، لا إلى مرشّح على النص النهائي فقط.
- قِسها. الضابط الذي يحجب طلبات سليمة خلل برمجي. تتبّع الإيجابيات الكاذبة بمجموعة تقييم.
في BroadNet Inference
لا تذكر وثائق BroadNet ضوابط حماية ولا نقاط نهاية للإشراف ولا مرشّحات محتوى. اعتبر ضوابط الحماية مهمة تطبيقك. والنمط الشائع فحص على نموذج أصغر مثل BroadNet Gemma 4 VL 26B ($0.10 لكل مليون رمز إدخال)، ثم الاستدعاء الرئيسي على نموذج أكبر. وإذا احتوت المدخلات على بيانات شخصية، فراجع إرسال البيانات الحساسة إلى LLM API.