
پلتفرم ارزیابی و بنچمارک Artificial Analysis بهروزرسانی جدیدی با عنوان نسخه ۴.۲ شاخص هوش (Intelligence Index) خود را منتشر کرد. این اقدام در پی انتقادات گسترده کارشناسان صورت گرفت که مدعی بودند بنچمارکهای قبلی این پلتفرم نتوانستهاند پیشرفتهای واقعی مدل جدید GPT-6 Astra را به درستی منعکس کنند.
پیش از این، ارزیابیهای مختلف از جمله آزمونهای داخلی اوپنایآی (OpenAI)، مدل Astra را بسیار جلوتر از رقبا نشان میدادند. مؤسسه Epoch AI نیز این مدل را با کسب ۱۶۹ امتیاز در بیش از ۵۰ بنچمارک، در رتبه نخست میان ۲۶۷ مدل هوش مصنوعی قرار داده بود و بنچمارک ARC-AGI-3 نیز جهش چشمگیری را برای آن ثبت کرد. با این حال، پلتفرم Artificial Analysis در ارزیابی نخست خود، Astra را همسطح با نسل قبلی آن نمرهدهی کرده بود که باعث بروز تردیدهایی درباره دقت بنچمارکهای این نهاد شد.
در شاخص بهروزرسانیشده جدید، مدل GPT-6 Astra موفق به کسب ۴ امتیاز بیشتر نسبت به مدل پیشین خود شده است. با وجود این افزایش امتیاز، مدل Claude Fable 5.1 از شرکت آنتروپیک (Anthropic) همچنان جایگاه نخست جدول را در اختیار دارد؛ در حالی که Astra در رتبه دوم و مدلهای متا (Meta) در جایگاه سوم قرار گرفتهاند.
طبق دادههای به دست آمده از این ارزیابیها، GPT-6 Astra در مقایسه با سایر مدلهای پیشرو، به ازای هر وظیفه محوله توکنهای کمتری مصرف میکند که نشاندهنده بهینهسازی بالا در کارایی آن است. همچنین از نظر نسبت هزینه به عملکرد، چهار شرکت آنتروپیک، اوپنایآی، متا و Zhipu AI بهطور مشترک در صدر جدول قرار دارند.
مجموعه Artificial Analysis برای بهبود کیفیت نمرهدهی و ارائه ارزیابی دقیقتر، اصلاحات ساختاری متعددی در نسخه ۴.۲ اعمال کرده است:
مسئولان Artificial Analysis اعلام کردهاند که با وجود تمایل اولیه برای حفظ ثبات بنچمارکها در طول دورههای انتشار مدلهای بزرگ، سرعت تغییرات در بالای جدول چنان بالا بوده که انتشار یک بهروزرسانی میاندورهای را اجتنابناپذیر کرده است. همچنین نسخه پنجم این شاخص که روند توسعه آن از هشت ماه پیش آغاز شده، بهزودی و به صورت مرحلهای در دسترس قرار خواهد گرفت.
این مطلب بر اساس خبر The Decoder بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.