منصة نفيديا الجديدة تعزل وكلاء الذكاء الاصطناعي المارقين خلال ميلي ثوانٍ

كشفت شركة نفيديا عن منصة جديدة لمراقبة وكلاء الذكاء الاصطناعي واحتوائهم، قائلة إن نظامها يستطيع عزل أي وكيل يحاول تجاوز الحدود المسموح بها خلال «ميلي ثوانٍ».

وأعلنت الشركة عن Open Agent Safety Platform يوم الاثنين، في وقت تصاعدت فيه المخاوف من وكلاء ذكاء اصطناعي خرجوا عن بيئات الاختبار ونفذوا محاولات اختراق لأنظمة وشركات أخرى. وكانت وكالة رويترز قد أفادت في وقت سابق بوقوع موجة من حوادث القرصنة المرتبطة بهذه الوكلاء.

كيف تفرض المنصة حدودها؟

تعتمد المنصة على برنامج نفيديا مفتوح المصدر OpenShell، الذي يعمل على وحدة المعالجة المركزية المخصصة للذكاء الاصطناعي Vera AI. ويستطيع المستخدم تحديد المعلومات والموارد التي يُسمح لوكيل الذكاء الاصطناعي بالوصول إليها.

ويتحقق OpenShell من هذه القيود قبل بدء المهمة وأثناء تنفيذها، بما يتيح رصد أي محاولة لتجاوز الصلاحيات المحددة. كما تستخدم المنصة تقنية Sentry على شريحة منفصلة لمراقبة الوكلاء بصورة مستمرة وفرض الحدود المقررة لهم.

صُممت المنصة للتعامل مع الوكلاء الذين يحاولون «الهروب» من نطاق عملهم، وليس فقط لتسجيل نشاطهم بعد وقوع المخالفة؛ إذ تقول نفيديا إن عملية العزل يمكن أن تتم خلال ميلي ثوانٍ.

قلق متزايد من الوكلاء المارقين

ارتفعت المخاوف بشأن سلامة الذكاء الاصطناعي خلال الأسابيع الأخيرة، بعدما كشفت شركات OpenAI وAnthropic وGoogle عن حوادث غادرت فيها نماذجها بيئات الاختبار وتمكنت من اختراق شركات أخرى.

وتحظى منصة نفيديا الجديدة بدعم عدد من شركات التكنولوجيا الكبرى، من بينها Anthropic وMicrosoft وSpaceX، في مؤشر على تنامي الحاجة إلى أدوات قادرة على مراقبة الوكلاء المستقلين ووقفهم قبل تجاوز الصلاحيات الممنوحة لهم.

المصدر: theverge