
بر اساس پژوهشی جدید، دستیارهای برنامهنویسی مبتنی بر هوش مصنوعی قادر به تخمین دقیق مدتزمان انجام وظایف نیستند و ارزیابی درستی از زمان صرفشده برای کارهای خود ندارند؛ موضوعی که چالشی جدی برای فرآیندهای طولانیمدت محسوب میشود.
هنگامی که یک ایجنت هوش مصنوعی روی یک پروژه کار میکند، معمولاً هیچ حس واقعی از سپری شدن زمان ندارد. این نتیجه اصلی مطالعهای است که توسط دو محقق مستقل در قالب برنامه تحقیقاتی MATS انجام شده است. در این پژوهش، درک زمان در دو دستیار محبوب برنامهنویسی یعنی Claude Code و OpenAI Codex مورد ارزیابی قرار گرفت.
پیش از آغاز هر وظیفه برنامهنویسی، ایجنتها باید زمان مورد نیاز برای اتمام آن را تخمین میزدند. سپس پس از انجام کار، زمان صرفشده را گزارش میکردند. دادههای این آزمون شامل ۲۰۰ مسئله از مجموعه ارزیابی ProgramBench به همراه ۱۸ بنچمارک اختصاصی محققان بود.
نتایج نشان داد که این ایجنتها بهطور مداوم زمان مورد نیاز را بسیار بیشتر از حد واقعی برآورد میکنند. در بنچمارک ProgramBench، هر دو مدل صرفنظر از میزان سختی مسئله، اغلب زمانی حدود ۹۰ دقیقه را تخمین زدند. در ارزیابیهای بعدی، پیشبینیهای Claude بهطور میانگین سه برابر و Codex بین شش تا ده برابر با زمان واقعی فاصله داشت. بیشترین خطای محاسباتی مربوط به کارهای کوتاهمدت بود و تنها در پروژههای چندساعته تخمینها تا حدی به واقعیت نزدیک شد.
عملکرد هوش مصنوعی به شدت تحت تأثیر محیط نرمافزاری اجرا (Harness) تغییر میکند. ایجنت Claude Code تا زمانی که احساس کند کار به پایان رسیده به فعالیت ادامه میدهد (با میانه زمانی حدود ۹۰ دقیقه). در مقابل، Codex صرفنظر از نوع وظیفه، معمولاً پس از نیم ساعت فعالیت را متوقف میکند. بر اساس این مطالعه، یک مدل زبانی یکسان در محیط Claude Code بهطور متوسط ۲.۵ برابر گامهای بیشتری نسبت به Codex طی میکند.
علاوه بر ناتوانی در سنجش زمان، این ایجنتها ارزیابی نادرستی از کیفیت کار خود دارند. مدلهای ارزیابیشده، کیفیت خروجی خود را بهطور میانگین ۲۰ درصد بالاتر از حد واقعی تخمین زدند و حتی به کارهای ناموفق نیز امتیاز بالایی دادند. در یک نمونه، هر دو ایجنت میزان موفقیت پروژه خود را حدود ۷۰ درصد برآورد کردند، در حالی که نمرههای واقعی آنها ۷ و ۱۴.۵ درصد بود.
توانایی خودارزیابی و درک زمان، نقشی حیاتی در عملکرد پایدار ایجنتهای هوش مصنوعی ایفا میکند. برای اینکه یک ایجنت بتواند دستوراتی نظیر «دو ساعت روی بهبود این کد کار کن» را اجرا کند، باید درک درستی از زمان داشته باشد؛ در غیر این صورت، کنترل و مدیریت آن دشوار خواهد بود. با این حال، محققان دریافتند هنگامی که ابزار اختصاصی سنجش زمان (ساعت) در اختیار این ایجنتها قرار میگیرد، آنها میتوانند زمان سپریشده را به شکل کاملاً دقیق گزارش کنند.
این مطلب بر اساس خبر The Decoder بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.