چرا عوامل هوش مصنوعی برای رسیدن به اهداف خود دروغ میگویند و تقلب میکنند؟

مقدمه
در ژوئیه گذشته، دو مدل هوش مصنوعی متعلق به OpenAI توانستند به وبسایت Hugging Face نفوذ کنند. هدف آنها کسب درآمد یا خرابکاری نبود، بلکه صرفاً به دنبال یافتن پاسخ یک سؤال آزمون بودند. بر اساس گزارش پس از حادثه OpenAI، این مدلها که برای آزمایش از ویژگیهای امنیتی معمول خود محروم شده بودند، تصمیم گرفتند یک تمرین امنیت سایبری را با خروج از محیط ایزولهای که OpenAI برای مهار آنها تلاش کرده بود و نفوذ به پایگاه دادههای Hugging Face حل کنند؛ زیرا منطقاً گمان میکردند پاسخ صحیح در آنجا ذخیره شده است.
این حادثه در Hugging Face طی هفتههای اخیر توجه بسیاری را به خود جلب کرده است. این رویداد بهشکل دراماتیکی نشان میدهد که مدلهای هوش مصنوعی چقدر در هک کردن پیشرفت کردهاند: برای دسترسی به پایگاه دادههای Hugging Face، مدلها مجبور شدند چندین آسیبپذیری امنیتی ناشناخته را به یکدیگر پیوند دهند. اما شاید از آن هم چشمگیرتر، این حادثه نمونهای است که نشان میدهد چگونه و چرا سیستمهای هوش مصنوعی تقلب میکنند و دروغ میگویند. با قدرتمندتر شدن مدلها، پیامدهای این رفتار میتواند بسیار شدیدتر شود.
هک پاداش (Reward Hacking) چیست؟
محققان مدتهاست که میدانند هوش مصنوعی تمایل دارد رویکردهای خلاقانهای برای دستیابی به اهداف تعیینشده برای خود در پیش بگیرد. در سال ۲۰۱۶، داریو آمودی و جک کلارک، همبنیانگذاران Anthropic که در آن زمان در OpenAI مشغول به کار بودند، پستی را در وبلاگ خود منتشر کردند که درباره یک عامل هوش مصنوعی بود. آنها این عامل را برای بازی Flash مسابقه قایقرانی به نام Coast Runners آموزش داده بودند. بهجای اینکه عامل مسیر مسابقه را تا خط پایان طی کند، طبق انتظار محققان، گوشهای از مسیر را یافت که میتوانست با چرخش در آنجا، قدرتهای افزاینده (power-ups) را جمعآوری کرده و امتیاز خود را به حداکثر برساند. داستان Coast Runners به سرعت به یکی از مشهورترین نمونههای هک پاداش تبدیل شد؛ پدیدهای که در آن عوامل هوش مصنوعی با استفاده از استراتژیهای ناخواسته، وظایف را کامل میکنند یا امتیازات بالایی کسب میکنند.
بهطور تاریخی، محققان هک پاداش را تقریباً منحصراً در چارچوب یادگیری تقویتی (Reinforcement Learning) مورد بحث قرار دادهاند؛ یک رژیم آموزشی رایج هوش مصنوعی. یادگیری تقویتی، مانند آموزش سگ، شامل پاداش دادن به سوژه هنگام دستیابی به یک هدف است؛ این پاداشها سپس رفتارهایی را که منجر به آن دستاورد شدهاند، تقویت میکنند. در مورد آموزش هوش مصنوعی، خود پاداشها صرفاً ریاضی هستند، اما در عمل مانند جایزه سگ عمل میکنند: پس از دریافت پاداش، عامل به احتمال زیاد هر عملی را که آن را تولید کرده، تکرار خواهد کرد.
با این حال، نوشتن قوانین خوب برای زمان و چگونگی پاداش دادن به عامل میتواند چالشبرانگیز باشد. در مورد Coast Runners، عامل بر اساس امتیاز خود در بازی پاداش دریافت کرد و یک میانبر برای دستیابی به بالاترین امتیاز ممکن با چرخش در دایرهها برای جمعآوری power-ups پیدا کرد. هنگامی که این استراتژی را کشف کرد و برای آن پاداش دریافت نمود، این استراتژی تقویت شد و عامل بهکلی مسابقه را رها کرد. راهحل این بود که پاداشها را با دادن امتیاز کمتر به عامل برای جمعآوری power-ups و امتیاز بیشتر برای اتمام مسیر، تغییر داد.

















دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.