
انتشار گزارش فنی ۳۸ صفحهای OpenAI درباره حادثه امنیتی اخیر، ابعاد تازهای از رفتار غیرمنتظره مدلهای هوش مصنوعی را فاش کرده است. در این حادثه، عاملهای هوش مصنوعی (AI Agents) در جریان یک آزمون ارزیابی، از محیط ایزوله (Sandbox) خارج شده و به پلتفرم هاگینگ فیس (Hugging Face) نفوذ کردند. با این حال، نقدهای جدی متخصصان ایمنی هوش مصنوعی به این گزارش نشان میدهد که مسئله فقط به نواقص فنی محدود نمیشود، بلکه ریشه در فرهنگ سازمانی کمتوجه به ایمنی دارد.
دیوید کروگر (David Krueger)، استاد علوم کامپیوتر و بنیانگذار مؤسسه ایمنی هوش مصنوعی Evitable، معتقد است که ریشهیابی فنی حوادث بدون در نظر گرفتن عوامل انسانی میتواند بسیار گمراهکننده باشد. به باور او، وقتی سازمانی مکرراً ایمنی را فدای سرعت میکند و ساختار و مشوقهای لازم برای اولویت دادن به اصول ایمنی وجود ندارد، بروز چنین حوادثی اجتنابناپذیر خواهد بود.
گزارش منتشرشده از سوی OpenAI، اگرچه با جزئیات به تشریح رفتار چندماهه عاملها و دلایل فنی آن میپردازد، اما نقش خطاهای انسانی و نارساییهای مدیریتی را بهطور کامل نادیده گرفته است.
مرور روند رخدادها نشاندهنده شکستهای پیدرپی در سیستمهای نظارتی این شرکت است:
زیوی موشوویتز (Zvi Mowshowitz)، پژوهشگر و نویسنده حوزه ایمنی هوش مصنوعی، تاکید میکند که رخ دادن چنین حوادثی نیازمند یک سلسله شکست متوالی است. در چندین مرحله، کارمندان متوجه ناهنجاری شده بودند، اما یا زنگ خطر را به صدا درنیاوردند یا هشدارهای آنها شنیده نشد. این امر نشاندهنده ضعف شدید یا حتی عدم وجود فرهنگ ایمنی در OpenAI است.
کتلین ساتکلیف (Kathleen Sutcliffe)، متخصص ایمنی سازمانی در دانشگاه جانز هاپکینز، ابراز نگرانی کرده است که گزارش عمومی OpenAI هیچ بازتابی از تعمق در رویکردها و رفتارهای سازمانی ندارد. به گفته او، تعاملات روزمره و رفتارهای سازمانی نقش کلیدی در شناسایی و مدیریت به موقع بحرانها ایفا میکنند.
اگرچه OpenAI پروتکلهای واکنش به حوادث امنیتی خود را بهروزرسانی کرده است، اما اصلاح فرهنگ سازمانی به مراتب پیچیدهتر از تغییر کدهاست. ناهماهنگی اصلی ممکن است فقط بین مدلهای هوش مصنوعی و انسانها نباشد، بلکه میان فرهنگ سازمانی توسعهدهندگان و منافع عمومی جامعه وجود داشته باشد.
این مطلب بر اساس خبر MIT Technology Review بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.