
پازلها و بازیها از همان ابتدا در کانون توسعه هوش مصنوعی قرار داشتهاند. همانطور که انسانها هوش خود را با جدول کلمات یا معماهای منطقی میسنجند، توسعهدهندگان نیز چالشهای بازیمحور را برای ارزیابی میزان پیشرفت مدلها به کار میگیرند. اصطلاح «یادگیری ماشین» نخستین بار در مقاله سال ۱۹۵۹ آرتور ساموئل، دانشمند رایانه شرکت IBM، درباره الگوریتمی که بازی دوز (Checkers) را میآموخت محبوبیت یافت. بازیهای شطرنج و گو نیز از دیرباز به عنوان بستر اصلی آزمونهای هوش مصنوعی شناخته شدهاند.
بر اساس معیارهای معمایی، هوش مصنوعی با سرعتی چشمگیر در حال ارتقا است. در اواخر سال ۲۰۲۴، تیمی از دانشمندان دانشگاه کلمبیا نشان دادند که حتی برترین مدلها تنها توانستهاند ۱۸ درصد از پازلهای معروف Connections روزنامه نیویورک تایمز را حل کنند؛ اما تا اوایل سال ۲۰۲۵، برخی مدلها به توانایی حل تقریباً کامل و بینقص این پازلها دست یافتند.
با این حال، معماها کاربردی فراتر از نمایش پیشرفت مدام هوش مصنوعی دارند. بررسی نقاط قوت و ضعف مدلها — و حوزههایی که انسان هنوز بر ماشین غلبه میکند — چشماندازی ارزشمند از توانمندیها و محدودیتهای این فناوری ارائه میدهد. با وجود پیشرفتهای اخیر، مدلهای امروزی همچنان دچار اشتباه میشوند؛ تغییرات جزئی در چیستانهای کلاسیک اغلب آنها را به اشتباه میاندازد و پازلهای تصویری و فضایی همچنان نقطه ضعف اصلی آنها محسوب میشوند.
استدلال فضایی حوزهای است که انسانها در آن برتری قاطعی دارند. آزمونهای چرخش ذهنی (Mental Rotation) از نمونههای رایج ارزیابی هوش فضایی هستند که در آنها فرد باید تشخیص دهد آیا تصاویر مختلف، یک شیء واحد را از زوایای متفاوت نشان میدهند یا خیر. اگرچه مدلهای زبانی بزرگ امروزی توانایی تحلیل ورودیهای تصویری را دارند، اما همچنان در حل این معماها عملکرد ضعیفی ارائه میدهند. برخلاف ادعاهای مطرحشده درباره نقش «مدلهای جهان» (World Models) در درک محیط فیزیکی، مدلهای زبانی قادر به دستکاری اشیاء سهبعدی به سبک معماران یا مهندسان مکانیک نیستند.
مدلهای پیشرو زبانی از حافظهای خارقالعاده برخوردارند؛ زیرا در طول فرایند آموزش با حجم رویدادها و دادههای عظیمی مواجه شدهاند و میتوانند واقعیتهای گوناگون را بازگو کنند. این ویژگی اگرچه نقطهقوتی برای رقابت با انسان در مسابقات اطلاعات عمومی است، اما میتواند به یک نقطه ضعف تبدیل شود. وقتی معمایی شباهت زیادی به دادههای آموزشی مدل داشته باشد، ماشین ممکن است از تفاوتهای کلیدی چشمپوشی کرده و صرفاً پاسخ حفظشده را تکرار کند.
این مسئله در پژوهشی در سال ۲۰۲۴ توسط محققان گوگل و دانشگاه ایلینوی بررسی شد. آنها مدلها را روی تغییرات جزئی از معماهای کلاسیک «شوالیه و شیاد» (Knights and Knaves) آزمایش کردند؛ معماهایی که در آنها برخی شخصیتها همواره راست میگویند و برخی دیگر همواره دروغ میگویند. آزمون دیگری به نام SimpleBench نیز همین پدیده را نشان میدهد؛ سوالاتی که ظاهری شبیه به مسائل پیچیده آموزشی دارند، اما حواسپرتیهای سادهای در آنها گنجانده شده که انسان بهسرعت آنها را تشخیص میدهد، اما مدلهای پیشرفته دچار خطا میشوند.
این معماها نمونههایی از آزمون SimpleBench هستند که حواسپرتیهای ساده و منطقی را مطرح میکنند:
ضعف هوش مصنوعی تنها به مسائل سهبعدی محدود نمیشود؛ پازلهای دوبعدی نیز چالشبرانگیز هستند. این موضوع عامل اصلی عملکرد مدلها در بنچمارک معروف ARC-AGI است. در این معماها، فرد باید قوانین کلی و انتزاعی را از روی چند نمونه شبکه خانهبندیشده استخراج کند. مدلها زمانی عملکرد بهتری در ARC نشان میدهند که شبکهها نه به صورت تصویر، بلکه به عنوان رشتهای از اعداد به آنها داده شوند.
تحقیقات نشان میدهند حتی زمانی که مدلها به سوالات ARC-AGI پاسخ درست میدهند، اغلب از قوانین پیچیده و غیرقابل تعمیم استفاده میکنند؛ در حالی که انسانها از مفاهیم بصری ساده بهره میبرند.
تنها هوش مصنوعی نیست که دچار خطای شناختی میشود؛ انسانها نیز لغزشهای ذهن منحصربهفرد خود را دارند که ماشینها معمولاً فاقد آن هستند. روانشناسان آزمونهایی طراحی کردهاند که عکس پدیده SimpleBench عمل میکند: در این سوالات، انسانها پاسخهای شتابزده و شهودی میدهند، در حالی که مدلها به صورت محاسباتی و دقیق به آنها پاسخ میدهند.
در برخی موارد، توانایی مدلهای زبانی در حل معماها به ابعاد و پیچیدگی مسئله بستگی دارد. پژوهشی از دانشمندان شرکت اپل نشان داد که مدلها نسخه ساده معمای «برج هانوی» یا معماهای «عبور از رودخانه» را به خوبی حل میکنند؛ اما وقتی تعداد اقلام یا افراد به ۶ یا بیشتر افزایش مییابد، عملکرد مدلها دچار افت شدید میشود.
در مطالعهای دیگر توسط دانشگاه واشنگتن، دانشگاه استنفورد و موسسه هوش مصنوعی آلن، مشخص شد مدلها در حل معماهای جدولی منطقی (Logic Grid Puzzles) نیز با چالش مشابهی روبرو میشوند. این یافتهها این پرسش را مطرح میسازد که آیا این محدودیت نشاندهنده نقص بنیادی در استدلال مدلهای زبانی است یا صرفاً نتیجه طبیعی افزایش پیچیدگی محاسباتی است.
این مطلب بر اساس خبر MIT Technology Review بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.