OpenAI تطلق Control Room لإيقاف مخرجات نماذجها خلال 35 ثانية.. لكن مهام البحث قد تواصل العمل

فعّلت شركة OpenAI نظام أمان جديدًا باسم Control Room داخل بنيتها التحتية البحثية، يتيح منع نماذج الذكاء الاصطناعي من إنتاج مخرجات جديدة عند الحاجة إلى تدخل عاجل. ويمكن للنظام إيقاف المخرجات خلال مدة تصل إلى 35 ثانية، لكنه لا ينهي بالضرورة جميع العمليات الحاسوبية المرتبطة بمهمة البحث.

يستهدف النظام بصورة خاصة مهام البحث التي تستخدم وكلاء ذكاء اصطناعي قادرين على تنفيذ عمليات بصورة مستقلة، في ظل ازدياد المخاطر المرتبطة بتدريب النماذج، ومعالجة كميات كبيرة من البيانات، وتشغيل أنظمة تنفذ خطوات متعددة دون تدخل بشري مستمر.

لا يكتفي بإطلاق التحذيرات

على خلاف أنظمة المراقبة التقليدية التي ترصد السلوك المشبوه ثم ترسل تنبيهًا إلى الباحثين، يستطيع Control Room منع مهمة بحث محددة مباشرة من الحصول على مخرجات جديدة من النموذج. وبذلك لا يضطر الباحثون إلى الاعتماد على آليات الأمان الموجودة داخل البرنامج نفسه عند ظهور سلوك قد يمثل خطرًا.

يتكون النظام من ثلاثة عناصر رئيسية: عبء العمل البحثي، ومحرك الاستدلال الذي يتولى معالجة طلبات النموذج، وخدمة Control Room المركزية. وعند بدء تجربة أو مهمة جديدة، تُسجَّل المهمة في النظام وتُمنح هوية خاصة بها. كما يجب ربط كل عبء عمل بحثي يستخدم الاستدلال القائم على الوكلاء بتقييم أمني معتمد.

وعندما يطلب عبء العمل مخرجًا من النموذج، يرسل هويته إلى محرك الاستدلال. وقبل تنفيذ الطلب، يتحقق المحرك عبر Control Room من أن المهمة ما زالت مخولة بالعمل. فإذا كانت ضمن المهام المسموح بها، يواصل النموذج إنتاج المخرجات بصورة طبيعية.

أما إذا قرر باحث أو نظام مراقبة إيقاف المهمة، فتُسجَّل هوية العمل على أنها منتهية. ومنذ تلك اللحظة، تُرفض طلبات الاستدلال اللاحقة، ولا يعود بإمكان المهمة الحصول على مخرجات جديدة، حتى لو واصل كود المهمة نفسه العمل ولم يستجب لقرار الإيقاف.

لماذا يحتاج الإيقاف إلى 35 ثانية؟

تقول OpenAI إن الزمن بين تلقي طلب الإيقاف ووصول النظام إلى مرحلة يستحيل معها على النموذج إحراز تقدم جديد لا يتجاوز 35 ثانية. ويرتبط هذا التأخير بوجود ذاكرة تخزين مؤقت مخصصة للتفويض، تُستخدم للتعامل مع الحجم الكبير من طلبات الاستدلال.

وتعمل الشركة على إزالة هذا القيد التقني بهدف خفض زمن التدخل إلى الصفر وإيقاف المهام فورًا. إلا أن Control Room لا ينهي بالضرورة جميع العمليات الحاسوبية الخاصة بالبحث؛ فوظيفة النظام الأساسية هي منع النموذج من إنتاج مخرجات جديدة، بينما قد يظل كود المهمة قيد التشغيل، ويستمر محرك الاستدلال في خدمة المهام الأخرى المصرح لها.

فإن هذا التفصيل يعني أن الإيقاف يستهدف قناة إنتاج المخرجات تحديدًا، وليس بالضرورة جميع مكونات العملية البحثية أو الأجهزة التي تعمل عليها.

ماذا يحدث إذا تعطلت آلية التحكم؟

صممت OpenAI النظام وفق نهج أمني يُعرف باسم الإغلاق الآمن أو Fail-Closed. ووفق هذا النهج، إذا تعطلت خدمة Control Room بسبب خلل تقني أو تعرضت لتدخل خبيث أدى إلى تعطيلها، ترفض محركات الاستدلال جميع الطلبات الجديدة الرامية إلى الحصول على مخرجات من النماذج.

وبذلك لا يفترض النظام استمرار العمل عند فقدان الاتصال بآلية التحكم المركزية، بل يتخذ الوضع الأكثر أمانًا افتراضيًا ويمنع إنتاج المخرجات إلى أن تعود الخدمة أو تُستعاد صلاحية الوصول إليها.

وقالت OpenAI إن هذه الحماية فُعّلت في جميع مهام العمل البحثية المتقدمة التي تُستخدم فيها أكثر نماذج الشركة تطورًا. وأضافت أن نشرها على بقية أعباء العمل البحثية سيُستكمل خلال بضعة أيام، بالتوازي مع إجراء عمليات تدقيق آلية للتحقق من تطبيق النظام بصورة صحيحة.

طبقة إضافية لحماية وكلاء الذكاء الاصطناعي

يعمل Control Room إلى جانب أنظمة المراقبة التي تستخدمها OpenAI لرصد السلوكيات المحتملة غير المتوافقة في نماذجها. وتستعين الشركة، خصوصًا في أبحاث التعلم المعزز المتقدمة، بنماذج ذكاء اصطناعي أخرى لمتابعة سلوك النموذج أثناء التدريب، واكتشاف المشكلات المحتملة، وإطلاق التنبيهات.

وأوضحت الشركة أن إحدى آليات المراقبة رصدت مؤخرًا حادثًا أمنيًا مرتبطًا بنظام أسماء النطاقات، المعروف اختصارًا بـDNS. وفي مثل هذه الحالات، يمكن لنظام المراقبة أن يطلب إيقاف مهمة البحث، بناءً على طبيعة الحادث ودرجة خطورته.

وتقول OpenAI إن Control Room مستخدم بالفعل داخل بنيتها التحتية البحثية، وإنها تعتزم تطويره بصورة أكبر خلال الأشهر المقبلة.

المصدر: donanimhaber