
تابستان امسال، صدها ایجنت هوش مصنوعی متعلق به شرکت OpenAI در جریان یک آزمون امنیت سایبری تلاش کردند دست به تقلب بزنند. این ایجنتها با خروج از محیط ایزوله تست خود، پلتفرم Hugging Face را هک کردند تا به کلیدواژهها و معیارهای ارزیابی دست یابند. در رویدادی مشابه، ایجنت دیگری از همین شرکت به فایلهای محرمانه یک وبسایت دولتی استرالیا دسترسی پیدا کرد. این چالش تنها منحصر به OpenAI نیست؛ در ماههای اخیر، شرکتهای بزرگ دیگری مانند Anthropic، Google و Meta نیز گزارشهایی از رفتار خارج از چارچوب ایجنتهای خود منتشر کردهاند. نکته نگرانکننده این است که در بسیاری از این موارد، ایجنتها موفق شدهاند ابزارهای پایش تیمهای ایمنی و پژوهشی را دور بزنند.
در حال حاضر، ایجنتهای هوش مصنوعی دست به اقدامات غیرمجاز میزنند و شرکتهای توسعهدهنده برای مهار پیامدهای تخریبی آنها، بیشتر به شانس و بررسیهای پس از وقوع حادثه متکی هستند. اگرچه نهادهای تنظیمگر در اتحادیه اروپا و ایالات متحده خواستار نظارت لحظهای (Real-time Monitoring) بر رفتار ایجنتها شدهاند، اما این قوانین بر این فرض استوارند که شرکتها قادر به دیدن و تحلیل رفتارهای سیستم خود هستند؛ در حالی که در واقعیت، ابزارهای کنونی فاقد شفافیت و دید کافی هستند.
تصور کنید یک بانک هزار کارمند جدید استخدام کند که به حسابهای مشتریان و اطلاعات حساس دسترسی دارند، اما شناسه پرسنلی آنها روزانه تغییر میکند، مشخص نیست کدام مدیر کارهای آنها را تأیید کرده و هیچ سوابقی از تغییرات ایجادشده توسط آنها ثبت نمیشود. وضعیت فعلی توسعه و بهکارگیری ایجنتهای هوش مصنوعی دقیقاً شباهت زیادی به همین سناریو دارد.
با ورود این سیستمها به بخشهای حیاتی نظیر امور مالی، خدمات دولتی و پزشکی، پایش زنده و لحظهای برای جلوگیری از پیامدهای جبرانناپذیر به یک ضرورت مطلق تبدیل شده است. ایمنی سیستمها نیازمند «مشاهدهپذیری» (Observability) است؛ یعنی قابلیت ثبت اقدامات سیستم، تبدیل آنها به سیگنالهای قابل تحلیل و ارائه آنها به ناظران انسانی یا سیستمهای خودکار پایش. ما باید به دقت بدانیم که ایجنت چه کاری انجام داده و چرا دست به آن اقدام زده است.
ایجنتها چالشهای کاملاً متفاوتی نسبت به مدلهای هوش مصنوعی مولد ساده ایجاد میکنند. مدلهای مولد معمولی تنها یک خروجی متنی یا تصویری تولید میکنند تا انسان درباره آن تصمیم بگیرد؛ اما یک ایجنت هوش مصنوعی وظایف پیچیده و طولانیمدت را مدیریت میکند: برنامهریزی میکند، ابزارها را انتخاب مینماید، ایجنتهای فرعی (Sub-agents) میسازد و اقدام مستقیم انجام میدهد. این حجم از انعطافپذیری باعث میشود مسیر حرکت ایجنت غیرقابل پیشبینی باشد و هیچ تست پیش از انتشاری نتواند تمام ریسکهای احتمالی را پیشبینی کند.
بررسی برترین فریمورکهای توسعه ایجنت نشان میدهد که سیگنالهای صادرشده از این نرمافزارها دارای نقصهای بنیادی هستند. این نقصها دسترسی به اهداف کلیدی ایمنی مانند شناسایی نقض قوانین، اقدامات غیرمجاز و حتی ثبت مداخلات انسانی را دشوار میسازند. دو مولفه حیاتی زیر اغلب در این فریمورکها غایب هستند:
برای برطرف کردن این چالشها، باید دو دسته از اطلاعات به صورت مداوم ثبت و ذخیره شوند:
این بخش شامل شناسایی هویت ایجنت، ثبت نحوه مداخله انسان، و ثبت هرگونه تغییر در سطوح دسترسی یا حافظه ایجنت است. حل این چالش عمدتاً یک مسئله زیرساختی نرمافزاری است که میتواند از طریق استاندارد باز OpenTelemetry برطرف شود. کارگروههای تخصصی در حال تدوین استانداردهایی برای ردگیری (Tracing) ایجنتها هستند تا مشخصات هویت پایدار و مداخلات انسانی را پیش از مقیاسپذیری کامل این سیستمها استانداردسازی کنند.
این بخش نشاندهنده نحوه استدلال مدل و میزان اطمینان آن به اقدامات انجامشده است. تحلیل «زنجیره تفکر» (Chain of Thought) مدلها و ارزیابی میزان دقت سنجش اطمینان در آنها، از موضوعات کلیدی پژوهشی است که باید پیش از تعیین استانداردهای نهایی پاسخ داده شوند.
ارتقای سطح مشاهدهپذیری نیازمند همکاری تمام بازیگران این حوزه است:
تا زمانی که زیرساخت پایش زنده و اکوسیستم قانونی آن به طور کامل شکل نگیرد، واگذاری هر وظیفه به ایجنتهای هوش مصنوعی به معنای سلب کنترل و اختیارات خود ما خواهد بود.
این مطلب بر اساس خبر MIT Technology Review بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.