بنچمارک‌های مربوط به هوش مصنوعی می‌توانند گمراه‌کننده باشند_دریای تکنولوژی

پژوهش تازه محققان دانشگاه پرینستون نقص‌های بسیاری را در بنچمارک‌های هوش مصنوعی و روشهای برسی آن‌ها نشان داده است که مانع می‌بشود در بازدید برنامه‌های کاربردی در دنیای واقعی سودمند باشند. محققان پافشاری دارند که این بنچمارک‌ها نسبت هزینه جواب‌دادن مدل هوش مصنوعی به دقت آن را در نظر نمی‌گیرند.

بر پایه گزارش VentureBeat، سنجش مدل‌های گوناگون هوش مصنوعی با بنچمارک‌های ثابت نمی‌تواند نتایج صحیحی در دنیای واقعی اراعه دهد. یکی از مسائل مهمی که محققان در پژوهش خود بر آن پافشاری می‌کنند، درنظرنگرفتن شیوه کنترل هزینه در مدل‌های هوش مصنوعی گوناگون است.

به‌طورکلی محققان هشدار خواهند داد که این خطاها علتمی‌بشود دقت هوش مصنوعی غلط تخمین زده بشود و درمورد قابلیت‌های هوش مصنوعی خوش‌بینی بیش‌ازحد باشد.

بنچمارک‌های گمراه‌کننده در برسی هوش مصنوعی

برای افزایش دقت، برخی سیستم‌های هوش مصنوعی چندین جواب تشکیل می‌کنند و از مکانیسم‌هایی مختلفی برای انتخاب بهترین جواب منفعت می‌برند. بعضی اوقات مثالبرداری از صدها یا هزاران جواب می‌تواند دقت هوش مصنوعی را افزایش دهد. درحالی‌که این رویکرد می‌تواند کارکرد را بهبود بخشد، هزینه محاسباتی قابل‌توجهی دارد. این هزینه‌ها در موارد تحقیقاتی که مقصد به حداکثررساندن دقت است، مشکل‌ساز نیست.

یقیناً در کاربردهای عمومی، بودجه هر خواست محدودیتی ندارد. یقیناً امکان پذیر در برخی موارد برای بالابردن رتبه‌بندی هوش مصنوعی خاصی، از مکانیسم‌های پرهزینه هوش مصنوعی برای افزایش دقت منفعت گیری بشود.

محققان می‌گویند باید بین برسی مدل‌ها با اهداف تحقیقاتی و مدل‌های کاربردی عمومی تفاوت قایل شد. در تحقیقات، دقت اهمیت دارد و هزینه‌های هوش مصنوعی تا حد بسیاری نادیده گرفته می‌بشود. بااین‌حال، زمان گسترش برنامه‌های کاربردی در دنیای واقعی، هزینه‌ها نقش مهمی در شیوه جواب‌دهی مدل هوش مصنوعی ایفا می‌کند.

برای نمونه، محققان مطالعه‌ای موردی روی بنچمارک NovelQA (معیاری برای پاسخگویی به سؤالات در متون زیاد طویل) انجام دادند. آن‌ها دریافتند امکان پذیر این معیار در برسی مدل‌های کاربردی عمومی گمراه‌کننده باشد.

از سویی، در یادگیری تسک‌های تازه، مدل‌های یادگیری ماشینی زیاد تر میانبرهایی اشکار می‌کنند که به آن‌ها اجازه می‌دهد در بنچمارک‌ها امتیاز خوبی کسب کنند. به‌عبارتی، این مدل‌ها راه‌هایی برای تقلب در آزمون‌های بنچمارک اشکار می‌کند و نتایجی اراعه می‌دهد که در دنیای واقعی صحیح نیست.