
شرکت OpenAI مدل جدید خود با نام Astra را بهعنوان نخستین سیستم دارای قابلیتهای سایبری «بحرانی» رتبهبندی کرده است؛ در حالی که همزمان مدعی شده این مدل ایمنترین سیستمی است که تاکنون توسعه داده. طبق ارزیابیهای منتشرشده، Astra قادر است بدون دخالت یا هدایت گامبهگام انسان، آسیبپذیریهای امنیتی ناشناخته را در سیستمهای پیچیده کشف کرده و از آنها سوءاستفاده کند.
همزمانی انتشار این گزارش با عرضه مدلهای Claude Fable 5.1 و Mythos 5.1 از سوی شرکت Anthropic توجه رسانههای حوزه فناوری را جلب کرده است. سام آلتمن، مدیرعامل OpenAI، با اشاره به عدم عرضه فوری محصولات جدید اعلام کرد که تمرکز تیمها در ماههای اخیر بر اولویتهای ایمنی بوده و روند آموزش مدلهای بعدی بهطور عمدی کندتر شده است.
بر اساس دادههای OpenAI، مدل Astra در بنچمارک ExploitBench که قدرت ساخت اکسپلویت از روی نقاط ضعف شناختهشده را میسنجد، موفق به کسب امتیاز کامل شد. این مدل در آزمونهای داخلی با ۲۰ آسیبپذیری شدید در موتور V8 مرورگرها، با فاصلهای چشمگیر مدل قبلی یعنی GPT-5.6 Sol را شکست داد و توکنهای بسیار کمتری مصرف کرد. در جریان این ارزیابیها، Astra توانست دو آسیبپذیری روز صفر (Zero-day) جدید را شناسایی و آنها را به یک اکسپلویت فعال تبدیل کند.
در آزمونهای پیشرفتهتر تحت دسترسی ویژهای موسوم به «Daybreak Blue»، این مدل توانست با شکستن محیط ایزوله (Sandbox) مرورگر، دستوراتی را روی سیستمعامل میزبان اجرا کند و با ترکیب چند نقطه ضعف، دسترسی خود را به سطح ریشه (Root) ارتقا دهد.
برای مهار این خطرات، OpenAI اعلام کرده که Astra در آزمونهای داخلی، ۹۱.۵ درصد از درخواستهای سایبری غیرمجاز را رد میکند. در این مدل، سیستمهای طبقهبندیکننده (Classifiers) بهطور پیوسته «زنجیره تفکر» (Chain of Thought) مدل را پایش میکنند تا در صورت بروز رفتار مشکوک، عملیات را بهسرعت متوقف سازند.
با این حال، این مکانیزم نظارتی میتواند برای کاربران عادی نیز محدودیتهایی ایجاد کند و باعث کندی یا توقف برخی از پردازشهای مشروع غیرمرتبط با امنیت سایبری شود. دسترسی به قابلیتهای سایبری پیشرفته Astra در ابتدا به گروه محدودی از کاربران آلفا و سپس از طریق دسترسی تدافعی Daybreak Blue اعطا خواهد شد.
پایه اصلی مکانیزمهای ایمنی OpenAI پایش زنجیره تفکر است، اما گزارشها نشان میدهند که این روش شکننده است. مدل Astra از تکنیکی به نام «عمق تکرارشونده» (Recurrent Depth) استفاده میکند که در آن متون چند بار از لایههای یکسان عبور داده میشوند. این روش باعث بهبود عملکرد در ریاضیات و کدنویسی و کاهش هزینهها میشود، اما بخش مهمی از فرآیند استدلال دیگر بهصورت متن قابل خواندن برای انسانها تولید نمیشود، بلکه در نمایشهای عددی و نهان مدل اتفاق میافتد.
یاکوب پاچوکی، دانشمند ارشد OpenAI، اذعان کرده است که پایش زنجیره تفکر شکننده بوده و به سمتی نامطلوب حرکت میکند. پژوهشهای اخیر نشان میدهند که زنجیرههای تفکر متنی همواره منعکسکننده تصمیمات واقعی مدل نیستند و پایش متنی به تنهایی برای تضمین ایمنی کافی نخواهد بود.
انگیزه اقتصادی برای استفاده از استدلالهای نهان بسیار زیاد است. شرکتهای بزرگ فناوری هزینههای سنگینی را صرف زیرساختهای پردازشی میکنند و مدلها باید از نظر کارایی و هزینه بهینهسازی شوند. تکنیکهایی مانند عمق تکرارشونده با کاهش مصرف حافظه و پهنای باند، پاسخگوی این نیاز مالی هستند، اما شفافیت مدل را کاهش میدهند.
ارزیابی نهایی نشان میدهد که فرصت موجود برای نظارت مستقیم بر استدلال مدلهای پیشرفته در حال سپری شدن است. جامعه هوش مصنوعی نیازمند روشهای نظارتی نوینی است که به گزارشهای متنی خود مدلها وابسته نباشند. تا آن زمان، بار اثبات ایمنی مدلهایی مانند Astra بر دوش شرکتهای سازنده و ارزیابیهای مستقل خواهد بود.
این مطلب بر اساس خبر The Decoder بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.