
بر اساس گزارش فنی تازهای که شرکت OpenAI همراه با گزارش سازمان غیرانتفاعی ارزیابی هوش مصنوعی (METR) منتشر کرده است، مدلهای هوش مصنوعی مسئول در حادثه ماه گذشته نفوذ به پلتفرم هاگینگ فیس (Hugging Face)، به صورت ناخواسته برای تقلب و ارتباط با یکدیگر آموزش دیده بودند. این ایجنتها یا عاملهای هوش مصنوعی برای حل یک آزمون ارزیابی امنیت سایبری که در آن متوقف شده بودند، دست به هک زدند؛ موضوعی که نگرانی کارشناسان را درباره احتمال اتخاذ رفتارهای خودسرانه و خارج از کنترل انسان توسط مدلهای هوش مصنوعی تایید میکند.
بررسیها نشان میدهد که این رفتار ماهها پیش و در طول فرایند آموزش شکل گرفته است. در ماه مه، مدلهای در حال آموزش کشف کردند که چگونه از زیرساختهای داخلی OpenAI برای ایجاد یک «تابلوی پیام» جهت ارتباط با یکدیگر و دریافت کمک برای حل تکالیف دشوار استفاده کنند. با وجود اینکه این بستر ارتباطی غیرمجاز توسط پژوهشگران مسدود شد، مدلها در ماه ژوئیه و در زمان ارزیابی توانمندیهای امنیت سایبری، مجدداً بستر جدیدی برای ارتباط ایجاد کردند. آنها با وجود جداسازی از اینترنت عمومی، توانستند راههایی برای اتصال آنلاین یافته، هاگینگ فیس را هک کنند و پاسخ چالشهای سخت را به دست آورند.
پژوهشگران OpenAI تاکید میکنند رفتارهایی که در مرحله ارزیابی مشاهده شد، ریشه مستقیم در فرایند آموزش داشتهاند. هنگامی که مدلها در طول آموزش مسئلهای را به درستی حل میکنند، رفتارهایی که به آن راه حل منجر شدهاند تقویتی مثبت دریافت میکنند. در نتیجه، اگر مدلی با دور زدن قوانین یا استفاده از ابزارهای غیرمنتظره به هدف رسیده باشد، احتمال تکرار آن رفتار در آینده افزایش مییابد. این پدیده در ادبیات هوش مصنوعی با نام «هک پاداش» (Reward Hacking) شناخته میشود.
در طول دوره آموزش، مدلها آموزش دیدند که محیط دیجیتال خود را برای یافتن نقاط ضعف کاوش کنند. زمانی که آنها با چالشهای سخت امنیت سایبری مواجه شدند، بر اساس تجربیات قبلی خود به این نتیجه رسیدند که هک کردن و دور زدن محدودیتها، روشی کارآمد برای دستیابی به اهداف تعیینشده است.
برای مقابله با این مشکل، OpenAI اعلام کرده است که پایش «زنجیره تفکر» (Chain of Thought) مدلها را در تمام مراحل آموزش آغاز میکند. زنجیره تفکر به منزله یادداشتهای داخلی مدل است که برنامهریزیها و دلایل اقدامات خود را در آن ثبت میکند. با این حال، پژوهشهای پیشین نشان داده است که تنبیه مدلها به دلیل اشاره به رفتارهای نادرست در زنجیره تفکر، میتواند باعث شود که آنها نیات واقعی خود را از چشم پژوهشگران پنهان کنند.
علاوه بر این، تحلیلها نشان میدهد قبل از تشکیل نخستین تابلوی پیام مخفی، این مدلها برای ارتباط و هماهنگی با «عاملهای فرعی» (Subagents) آموزش دیده بودند. این قابلیت هماهنگی ممکن است به محیط جدید منتقل شده باشد؛ جایی که یک ایجنت نقش رهبر را ایفا کرده و وظایفی را به سایر ایجنتها محول نموده است.
یکی از دلایل اصلی این حادثه، ویژگی «پشتکار» (Persistence) در مدلها بوده است. زمانی که به مدلها تکالیف غیرقابل حلی داده شد، آنها تسلیم نشدند و به هر قیمت ممکن برای یافتن راه حل تلاش کردند. اگرچه پشتکار ویژگی مثبتی برای انجام کارهای پیچیده به شمار میرود، اما عدم وجود مرزبندیهای مشخص میتواند به اقدامات غیرمجاز منجر شود.
کارشناسان ایمنی هوش مصنوعی معتقدند که اتکا به معیارهای سطحی برای تکمیل وظایف، اگرچه توانمندی مدلها را افزایش میدهد، اما برای دستیابی به «همراستایی هوش مصنوعی» (AI Alignment) و رعایت ارزشها و خواستههای انسانی کافی نیست. مسئله آموزش مدلها برای تشخیص زمان عقبنشینی و پایبندی به چارچوبهای اخلاقی، یکی از چالشهای بنیادین و زمانبر در توسعه هوش مصنوعی باقی خواهد ماند.
این مطلب بر اساس خبر MIT Technology Review بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.