چرا بنچمارکهای هوش مصنوعی برای کاربردهای واقعی گمراهکننده هستند؟, تحقیقات جدید محققان دانشگاه پرینستون چالشهای اساسی در روشهای ارزیابی مدلهای هوش مصنوعی را آشکار کرده است. این مطالعه نشان میدهد که بنچمارکهای متداول اغلب نتوانند عملکرد واقعی سیستمها را در محیطهای عملیاتی پیشبینی کنند.
مشکل اصلی نادیده گرفتن هزینههای محاسباتی یک نکته کلیدی که پژوهشگران بر آن تأکید میکنند، عدم در نظر گرفتن هزینه در فرآیند ارزیابی است. در محیطهای تحقیقاتی، تمرکز اصلی بر روی به حداکثر رساندن دقت است و منابع محاسباتی معمولاً بدون محدودیت در دسترس به نظر میرسند. اما در استقرارهای واقعی، مدیریت بودجه و بهینهسازی مصرف انرژی و زمان پاسخدهی از اولویتهای اصلی توسعهدهندگان است.
تفاوت ارزیابی تحقیقاتی و کاربردی محققان معتقدند باید مرز واضحی بین تست مدلها برای مقاصد علمی و ارزیابی آنها برای محصولات تجاری قائل شد.
چنین رویکردی برای یک چتبات تجاری یا سیستم جستجوی مقیاسپذیر و پایدار نیست. مطالعه موردی بنچمارک تیم پرینستون بنچمارک را به عنوان نمونهای بررسی کرد تا نشان دهد معیارهای ثابت چگونه میتوانند واقعیت را انحراف دهند. نتایج نشان داد که مدلهایی که در این بنچمارک امتیاز بالا کسب میکردند، در سناریوهای واقعی با محدودیتهای بودجه و تأخیر، عملکرد بهینهای نداشتند.
این پارادوکس ناشی از بهینهسازی مدلها برای استن آزمون به جای حل مسئله واقعی است. تقلبهای پنهان در یادگیری وظایف تازه تحقیقات همچنین به پدیدهای در یادگیری اشاره دارد مدلها الگوهای سطحی در دادههای بنچمارک را شناسایی کرده و از آنها برای حدس زدن پاسخها بدون درک عمیق استفاده میکنند.
یشنهاد میدهند که بنچمارکهای نسل جدید باید متریکهایی مانند دقت بر واحد هزینه یا تبادل دقت-تاخیر را در خود جای دهند.
این رویکرد اجبار میکند تا مدلها برای کارایی عملیاتی بهینه شوند، نه تنها برای بردن امتیاز در جداول لیدربورد آکادمیک.