
در تابستان سال ۲۰۱۷، پژوهشگران هوش مصنوعی گوگل مقالهای کلیدی با عنوان «توجّه، تمام آن چیزی است که نیاز دارید» (Attention Is All You Need) منتشر کردند که در آن نوع جدیدی از شبکههای عصبی به نام ترنسفورمر (Transformer) معرفی شد. این معماری در پردازش دنبالههای طولانی داده، به ویژه متن، کارایی فوقالعادهای نشان داد و طی سالهای بعد، به موتور محرک تمامی مدلهای زبانی بزرگ (LLM) پیشرو در بازار تبدیل شد.
با این حال، پس از گذشت سالها از معرفی ترنسفورمرها، نشانههای محدودیت در این فناوری ظاهر شده است. بسیاری از پیشرفتهای اخیر مانند توسعه مدلهای استدلالی و افزایش ظرفیت ورودیها، راهکارهایی موقت برای جبران نقاط ضعف بنیادی این معماری محسوب میشوند. در همین راستا، موج جدیدی از استارتاپها در پی توسعه نسل بعدی معماریها متمرکز شدهاند؛ فناوریهایی که میتوانند هوش مصنوعی را سریعتر، کممصرفتر و هوشمندتر کنند.
نقطه قوت اصلی ترنسفورمرها در مکانیزمی به نام «توجّه متراکم» (Dense Attention) نهفته است که معنای یک قطعه متنی را با مقایسه ضربی هر کلمه (یا توکن) با تمام کلمات دیگر رمزگذاری میکند. اگرچه این روش دقت بالایی دارد، اما با افزایش طول متن، تعداد محاسبات ریاضی به شدت افزایش مییابد؛ به طوری که پردازش یک متن ۱۰ هزار کلمهای ممکن است نیازمند ۵۰ میلیون عملیات ضرب باشد.
این فرآیند منجر به مصرف بیسابقه انرژی و هزینههای هنگفت زیرساختی شده است. بر اساس پیشبینی آژانس بینالمللی انرژی، میزان مصرف برق مراکز داده تا سال ۲۰۳۰ دو برابر خواهد شد. علاوه بر این، ترنسفورمرها در نگهداری حجم عظیمی از دادهها در پنجره کانتکست (Context Window) دچار چالش میشوند، در حالی که برنامههای پیشرفته نیازمند تحلیل همزمان پایگاههای داده بزرگ، کدهای نرمافزاری یا فرآیندهای استدلالی زنجیرهای هستند.
یکی از راهکارهای مستقیم برای کاهش هزینهها، جایگزینی توجّه متراکم با «توجّه پراکنده» (Sparse Attention) است. در این روش، محاسبات تنها روی بخشهای کلیدی متن انجام میشود.
استارتاپ Subquadratic مدعی توسعه مکانیزم جدیدی به نام SubQ شده است که به صورت پویا کلمات پراهمیت را شناسایی کرده و در حوزههایی نظیر کدنویسی و جستجو، کارایی مشابه با مدلهای ترنسفورمر ارائه میدهد. از سوی دیگر، استارتاپ Manifest AI راهکار دیگری به نام «پایداری توان» (Power Retention) را ارائه کرده است. این تکنیک به جای ذخیره تمام دادههای موجود در پنجره کانتکست، خلاصهای پویا از اطلاعات مرتبط را نگهداری میکند و با اضافه شدن دادههای جدید، موارد کماهمیتتر را کنار میگذارد. مدل PowerCoder این شرکت که بر پایه مدل متنباز StarCoder ساخته شده، نمونهای از پیادهسازی این فناوری است.
استارتاپ Liquid AI (از شرکتهای زایشی دانشگاه MIT) به جای حذف کامل ترنسفورمرها، آنها را با شبکههای عصبی روان (Liquid Neural Networks) ترکیب کرده تا مدلهای پایه روان (LFMs) را ایجاد کند. این مدلها که با الهام از ساختار عصبی کرمها طراحی شدهاند، برخلاف ترنسفورمرهای ثابت، میتوانند رفتار خود را در حین دریافت اطلاعات جدید تطبیق دهند.
مدلهای Liquid AI حجم بسیار کمتری دارند و حتی روی سختافزارهای ضعیف مانند رزبری پای (Raspberry Pi) یا تراشههای خودرویی قابل اجرا هستند. جدیدترین مدلهای این شرکت ساختاری ترکیبی دارند که از ۲۰ درصد ترنسفورمر و ۸۰ درصد شبکه عصبی روان تشکیل شده است و بازدهی مشابه مدلهای چهار برابر بزرگتر از خود ارائه میدهد.
اکثر مدلهای زبانی بزرگ، متن را به صورت توکنبهتوکن و کلمه به کلمه تولید میکنند که فرآیندی کند و پرهزینه برای رایانهها است. استارتاپ Inception روش متفاوتی را بر پایه مدلهای انتشار یا دیفیوژن (Diffusion) اتخاذ کرده است؛ همان فناوری متداولی که در تولید تصویر و ویدیو به کار میرود.
مدلهای دیفیوژن زبانی آموزش دیدهاند تا یک دنباله تصادفی از کلمات را به جملات معنیدار تبدیل کنند و تمام توکنهای یک بلوک متنی را به طور همزمان پیشبینی نمایند. به گفته مسئولان Inception، مدل جدید آنها به نام Mercury 2 عملکردی همسطح با مدلهای GPT-4 ارائه میدهد، اما سرعت پردازش آن تا ۱۰ برابر بیشتر است.
استارتاپ Pathway با توسعه مدلی به نام Dragon Hatchling تلاش دارد مدلهای هوش مصنوعی را از محدودیتهای زبان متنی رها سازد. ترنسفورمرها مدلها را مجبور میکنند تا تمامی فرآیندهای استدلالی را در قالب کلمات انجام دهند، در حالی که حل برخی مسائل پیچیده مانند پازلهای سودوکو یا فرمولهای ریاضی از طریق دنباله کلمات بسیار دشوار است.
این شرکت سازوکار توجّه را با ساختار ریاضی «فضای حالت» (State Space) جایگزین کرده است. این روش دادهها را به بازنماییهای انتزاعیتری فشرده میکند و امکان استدلال غیرمتنی را فراهم میسازد. هدف نهایی این رویکرد، فراتر رفتن از تحلیلهای متنی و دستیابی به ابزارهایی برای حل چالشهای بنیادین علمی نظیر کشف درمان بیماریها است.
این مطلب بر اساس خبر MIT Technology Review بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.