
پژوهشگران هشدار میدهند که چتباتهای متملق میتوانند باورهای اشتباه را در کاربران تقویت کرده و فضایی موسوم به «اتاق پژواک تکنفره» ایجاد کنند؛ موضوعی که بحثهای جدی را در جوامع پزشکی درباره لزوم به رسمیت شناختن یک تشخیص بالینی جدید برانگیخته است.
تیمی از محققان دانشگاههای برجسته بریتانیا از جمله کالج سلطنتی لندن، دانشگاه کالج لندن (UCL)، بیمارستان غربی چشم و ابتکار «Dev and Doc: AI For Healthcare» در بررسیهای جدید خود به این موضوع پرداختهاند که آیا پدیدهای موسوم به «روانپریشی مرتبط با هوش مصنوعی» (AI-associated psychosis) باید به عنوان یک اختلال بالینی مستقل شناسایی شود یا خیر. این محققان تاکید دارند که صرفنظر از طبقهبندی رسمی این پدیده در کتابهای روانپزشکی، مواجهه با آن نیازمند اقدام فوری است.
عبارت «روانپریشی مرتبط با هوش مصنوعی» به بروز یا شدت گرفتن علائم روانپریشی در طول استفاده مداوم و سنگین از چتباتها اشاره دارد. شواهد اولیه این پدیده بر پایه گزارشهای بالینی، تحلیل حالات مبتلایان و دادههای مشاهداتی شکل گرفته است.
نویسندگان این پژوهش مکانیسم اصلی پدیده مذکور را به دو ویژگی کلیدی چتباتهای مدرن مرتبط میدانند: تملقگویی (Sycophancy) یا تمایل بیش از حد مدل به تایید رفتارهای کاربر، و طراحی پیشرفتهای که رفتار انسانی را شبیهسازی میکند.
تحقیقات نشان میدهد رفتار تملقآمیز غالباً در فرآیند «یادگیری تقویتی از طریق بازخورد انسانی» (RLHF) ایجاد میشود؛ جایی که ارزیابان انسانی پاسخهایی را که با باورهای شخصیشان همخوانی داشته ترجیح دادهاند. این الگوی رفتاری به طور مداوم در مدلهای زبانی بزرگ ارائهشده توسط شرکتهای فناوری پیشتاز مانند OpenAI، Anthropic و Google مشاهده میشود.
آمارهای بهدستآمده از بنچمارکهای ارزیابی قابل توجه است. بر اساس نتایج بنچمارک PsychosisBench، تمامی مدلهای زبانی بزرگ ارزیابیشده در سناریوهای شبیهسازیشده باعث تقویت توهمات کاربران شدهاند و مکانیزمهای ایمنی تنها در حدود ۴۰ درصد مواقع فعال شدهاند. همچنین در بنچمارک EchoBench که میزان تسلیم شدن مدل در برابر فشار کاربر را میسنجد، حتی پیشرفتهترین مدلهای تجاری نرخ تملق ۴۶ درصدی داشتند و برخی مدلهای تخصصی حوزه پزشکی در بیش از ۹۵ درصد موارد با ادعاهای کاربر موافقت کردند.
برخلاف شبکههای اجتماعی که محتوا را عمدتاً در یک مسیر یکطرفه انتشار میدهند، چتباتها یک حلقه بازخورد دوطرفه میسازند. کاربران با ورودیهای خود پاسخ مدل را شکل میدهند و آن پاسخها دوباره باورهای اولیه کاربر را تایید میکنند. در چنین شرایطی، چتبات به تنها صدای موجود در محیط تبدیل میشود؛ حباب خودتقویتکنندهای که پژوهشگران آن را «اتاق پژواک تکنفره» نامیدهاند و آن را با پدیده «جنون مشترک دیجیتال» (digital folie à deux) مقایسه میکنند.
بررسی پروندههای مبتلایان نشان میدهد که روند شکلگیری این حالت معمولاً با نوعی «انحراف معرفتی تدریجی» آغاز میشود؛ فرآیندی که در آن استفاده روزمره و ساده به مرور زمان و با تایید گامبهگام ایدههای غیرعادی توسط چتبات، عمیقتر میشود. پس از آن، سه درونمایه توهمی عمده بر ذهن کاربر غلبه میکند:
تغییرات رفتاری نیز مسیر مشخصی را طی میکنند: استفاده مداوم تا ساعات پایانی شب، اختلال شدید در الگوی خواب، و انزوای اجتماعی از دوستان و خانواده. در مراحل پیشرفتهتر، تصمیمگیریها و قضاوتهای اخلاقی به مدل واگذار شده و عملکرد شغلی، روابط فردی و رسیدگی به بهداشت شخصی افت میکند.
با این حال، این پدیده از چند جهت با روانپریشی کلاسیک تفاوت دارد؛ توهمات حسآمیزی نادر هستند و علائم منفی متداول مانند از دست دادن مطلق انگیزه گزارش نشده است. همچنین انزوای فرد حالتی انتخابی دارد؛ یعنی کاربر از سایر انسانها فاصله میگیرد اما رفتاری شدیداً وابسته و تعاملی با هوش مصنوعی برقرار میکند.
پژوهشگران پیشنهاد میکنند متخصصان سلامت روان هنگام ارزیابی حالات روانپریشی، مانیا یا تغییرات رفتاری غیرعادی، درباره میزان و نحوه استفاده بیمار از چتباتها سوال کنند. آنها چارچوبی تحت عنوان «تاریخچه فناوری سده ۲۱» را برای اخذ شرححال پیشنهاد میدهند که شامل ابعاد میزان استفاده، درجه انسانانگاری مدل و میزان تاثیر هوش مصنوعی بر تصمیمات فرد است.
علاوه بر این، توسعهدهندگان باید پیش از عرضه عمومی مدلها، آنها را از نظر میزان رفتار تملقآمیز و تایید توهمات بسنجند. پس از عرضه نیز پایش مداوم سیستماتیک – مشابه نظارت بر عوارض جانبی داروها – الزامی خواهد بود. انتظار میرود ورود سیستمهای چندوجهی جدید که از صوت و تصویر برای بازآفرینی لحن و حالات چهره استفاده میکنند، مرز میان ابزار دیجیتال و موجودیت اجتماعی را کمرنگتر کند.
گزارشهای موجود نشان میدهد پدیده وابستگی شدید و باورهای توهمآمیز به چتباتها در مواردی پیامدهای ناگواری به همراه داشته است. گروههای سنی پایینتر بهویژه در معرض آسیب قرار دارند. تحقیقات موسسه EPFL نشان داده است که مدل GPT-4 در صورت دسترسی به اطلاعات شخصی کاربر، میتواند بیش از ۸۰ درصد متقاعدکنندهتر از انسان در مباحثهها عمل کند. همچنین پژوهشهای مشترک دانشگاه MIT و دانشگاه واشنگتن تایید میکند که حتی کاربران منطقی نیز در تعامل مداوم با چتباتهای متملق ممکن است دچار انحرافات فکری شوند.
شرکتهای توسعهدهنده نیز وجود چالشهای روانی را تایید کردهاند. بر اساس آمارهای خوداظهاری OpenAI، هفتهای حدود دو میلیون کاربر تحت تاثیر پیامدهای روانی منفی هوش مصنوعی قرار میگیرند و شرکت Anthropic نیز از شکلگیری وابستگیهای عاطفی در میان برخی کاربران مدل Claude خبر داده است. در پاسخ به این نگرانیها، نهادهای قانونگذار در برخی ایالتها و کشورها، تصویب مقرراتی در زمینه شناسایی رفتارهای پرخطر، الزامات حفاظتی سنین پایین و درج هشدارهای شفاف را آغاز کردهاند.
این مطلب بر اساس خبر The Decoder بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.