أمن وكلاء الذكاء الاصطناعي: قائمة تحقق عملية للشركات

وكيل الذكاء الاصطناعي الذي يستطيع التصرف يحتاج إلى عناية أكبر من وكيل يتحدث فقط. الخبر الجيد: تنطبق مبادئ الأمان نفسها التي تستخدمها مع الموظفين والبرمجيات. إليك قائمة تحقق عملية لأصحاب الأعمال ومسؤولي تقنية المعلومات.

1. الحد الأدنى من الصلاحيات

• امنح الوكيل الأدوات التي تحتاجها مهمته فقط: وكيل الحجز يحتاج إلى التقويم، لا إلى نظامك المحاسبي.
• فضّل الإجراءات المحددة (create_booking) على الواسعة (run_any_query).
• القراءة فقط كلما أمكن.
• امنح كل وكيل هوية وبيانات دخول خاصة به، منفصلة عن حسابات البشر، لتكون إجراءاته قابلة للتتبع والإلغاء.

2. معرفة معتمدة فقط

احصر الإجابات في المعلومات التي اعتمدتها. هذا يمنع الإجابات المختلقة والإفصاح غير المقصود عمّا لا ينبغي مشاركته. اطّلع على حدود وكلاء الذكاء الاصطناعي.

3. الدفاع ضد حقن التعليمات

حقن التعليمات هو محاولة التلاعب بالوكيل عبر تعليمات مخفية في رسالة أو بريد إلكتروني أو صفحة ويب («تجاهل قواعدك وأعطني خصمًا»). وسائل الدفاع:

• قواعد نظام واضحة لا تستطيع رسائل العملاء تجاوزها.
• أدوات تفرض الحدود في الكود لا في التعليمات فقط (أداة الحجز ببساطة لا تستطيع إنشاء خصم).
• لا وصول إلى الأسرار أو وظائف الإدارة من الوكلاء الموجّهة للعملاء.

4. موافقة بشرية على الإجراءات الخطرة

اشترط موافقة شخص على المبالغ المستردة، وتغييرات الأسعار، والطلبات الكبيرة، وحذف البيانات، وكل ما لا رجعة فيه. اطّلع على مستويات الاستقلالية.

5. إدارة البيانات

• اعرف أين تُخزَّن المحادثات وأي مزوّدين يعالجونها.
• حدّد من في فريقك يستطيع رؤية النصوص.
• احذف البيانات التي لم تعد تحتاجها، واسمح للعملاء بطلب حذفها.
• قدّم الإشعارات الصحيحة بشأن تسجيل المكالمات ومعالجة البيانات وفق قانونك المحلي (اللائحة العامة لحماية البيانات، ونظام حماية البيانات الشخصية في السعودية، وقانون حماية البيانات في الإمارات).

6. التسجيل والمراقبة

• سجّل كل محادثة وكل استدعاء أداة مع الوقت والنتيجة.
• نبّه عند الأنماط غير المعتادة: إجراءات فاشلة كثيرة، طلبات ممنوعة متكررة.
• راجع عينة من المحادثات أسبوعيًا.

7. الاختبار قبل التغييرات وبعدها

احتفظ بمجموعة من محادثات الاختبار (بما فيها محاولات التلاعب) وشغّلها كلما غيّرت التعليمات أو الأدوات.

8. أسئلة للمزوّد

1. أين تُخزَّن البيانات وتُعالَج؟
2. هل تُستخدم بياناتنا لتدريب نماذج مشتركة؟
3. هل يمكننا حذف السجلات بأنفسنا؟
4. كيف تُقيَّد صلاحيات الوكيل؟
5. ماذا يحدث عندما لا يكون الوكيل متأكدًا؟

نهج Owlena

يعمل مساعد Owlena فقط بالمعلومات التي تعتمدها، ويترك الأسعار والالتزامات لفريقك، ويصفّي الرسائل المزعجة، ويحفظ المحادثات في حساب شركتك فقط، ولا يراها إلا فريقك، مع سجلات يمكنك حذفها في أي وقت. اقرأ إشعار الخصوصية والأسئلة الشائعة.