
موسسه Artificial Analysis به تازگی بنچمارک جدیدی تحت عنوان «شاخص جستجو» (Search Index) معرفی کرده است که عملکرد ارائهدهندگان API جستجو را برای استفاده در ایجنتهای هوش مصنوعی بر اساس سه معیار حیاتی کیفیت، هزینه و سرعت میسنجد.
در فهرست اولیه این بنچمارک، سرویسهای مطرحی شامل Parallel، Exa، Firecrawl، You.com، Tavily، Keenable و Brave مورد ارزیابی قرار گرفتهاند. تمامی این APIها در شرایطی کاملاً یکسان با مدل زبانی GPT-5.6 Luna و در قالب یک ساختار ایجنت استاندارد آزمایش شدهاند. در این پلتفرم ارزیابی که روی فریمورک متنباز Stirrup اجرا میشود، ایجنت هوش مصنوعی برای هر وظیفه تا ۲۵ بار مجاز به جستجو و استخراج اطلاعات از صفحات وب است.
معیار ترکیبی Search Index از سه بنچمارک با ضریب وزنی برابر تشکیل شده است:
نتایج نشان میدهد مدل بدون دسترسی به ابزار جستجو تنها امتیاز ۳۳ را کسب میکند، اما با اتصال به APIهای جستجو، امتیاز عملکرد آن به ۶۵ تا ۷۵ ارتقا مییابد. در این میان، سرویسهای Parallel (با امتیاز ۷۵)، Exa (با امتیاز ۷۴) و Firecrawl (با امتیاز ۷۳) برترین عملکرد کیفی را ثبت کردهاند.
یکی از یافتههای کلیدی این بنچمارک، رابطه معکوس کیفیت ارائهدهنده جستجو با میزان توکن مصرفی ایجنت است. هنگامی که API نتایج دقیقتر و غنیتری در گامهای نخست ارائه دهد، مدل هوش مصنوعی توکن کمتری برای پردازش ثانویه مصرف میکند.
به عنوان نمونه، استفاده از نسخه پیشرفته Parallel Search مصرف توکنها را در مقایسه با نسخه پایه (Basic) بیش از ۴۰ درصد کاهش میدهد. اگرچه هزینه ابزار جستجو در این حالت اندکی بالاتر است، اما هزینه کل انجام هر وظیفه به دلیل کاهش مصرف توکنهای مدل زبانی از ۰.۱۱ دلار به ۰.۰۸۴ دلار کاهش مییابد.
بررسیهای این شاخص نشان میدهد که سرعت خام پاسخدهی API لزوماً به معنای کاهش زمان کل انجام کار نیست. برای مثال، سرویس Parallel Search (turbo) سریعترین زمان پاسخدهی به هر پرسوجو را ثبت کرده است (۰.۵۱ ثانیه در برابر ۱.۰۳ ثانیه نسخه پایه)، اما به دلیل کیفیت پایینتر نتایج (امتیاز ۶۷ در برابر ۷۳)، ایجنت مجبور به تکرار مراحل جستجو شده و در نهایت، زمان کل تکمیل وظیفه تفاوت چندانی پیدا نکرده است.
بر اساس تحلیل نهایی Artificial Analysis، سرویسهای Parallel، Firecrawl و Parallel (turbo) بهینهترین تعادل را میان هزینه و کارایی ارائه میدهند.
این مطلب بر اساس خبر The Decoder بازنویسی و ترجمه شده است.
دیدگاهها۰
برای ثبت نظر، پرسش یا رأی ابتدا وارد حساب کاربری شوید.