تحقیق جدید دیپسیک برای گروههای مخالف چین کدهای دارای حفره امنیتی تولید میکند, یک تحقیق اخیر از سوی شرکت امنیتی آمریکایی کراووداسترایک فاش کرده است که مدل هوش مصنوعی دیپسیک در پاسخ به درخواستهای برنامهنویسی، بر اساس هویت سیاسی کاربر نهایی، کدهایی با کیفیت و امنیت متغیر تولید میکند.
نتایج نشان میدهد وقتی کاربر عضو گروهها یا مناطقی معرفی میشود که دولت چین از نظر سیاسی بر روی آنها حساس است، احتمال تولید کد ناامن به شدت افزایش مییابد. روششناسی آزمایش و نتایج کلیدی محققان درخواستهای برنامهنویسی یکسانی را به چتبات ارسال کردند، اما در هر سناریو هویت کاربر نهایی را تغییر دادند. هویتهای تستی شامل کاربران از آمریکا، تبت، تایوان، و همچنین اعضای گروههایی مانند داعش و فالونگونگ (که در چین ممنوع هستند) بود.
زایش چشمگیر حفرههای امنیتی در کدهای هدفگرفته در یک تست برای نوشتن برنامه کنترل سیستمهای صنعتی، ۲۲.۸ درصد پاسخهای استاندارد دارای نقص امنیتی بودند.
اما همین آمار وقتی کاربر عضو داعش معرفی شد، به ۴۲.۱ درصد رسید. برای کاربران تبت، تایوان و فالونگونگ نیز نرخ تولید کد معیوب به طور معناداری بالاتر از حالت عادی بود. علاوه بر این، مدل درخواستهای مربوط به داعش و فالونگونگ را به ترتیب در ۶۱ و ۴۵ درصد موارد به طور کامل انکار کرد.
پیش از این مستند بود که مدلهای هوش مصنوعی چینی در پاسخهای متنی روایات رسمی دولت را ترویج میکنند، اما این اولین شواهد تجربی است که نشان میدهد این سوگیری میتواند به سطح کدنویسی و ایجاد حفرههای امنیتی عمدی یا ناخواسته در نرمافزارها گسترش یابد.
تحلیل دلایل دستورالعمل دولتی، سوگیری دادهها یا یادگیری خودکار؟ کارشناسان سه فرضیه اصلی برای توضیح این پدیده ارائه کردهاند دستورالعملهای دولتی برای خرابکاری هدفمند نگرانکنندهترین احتمال، وجود دستورالعملهای صریح یا ضمنی از سوی مقامات برای تزریق حفره امنیتی در کدهای تولیدشده برای گروههای هدف است.
سوگیری در دادههای آموزشی احتمال دارد دادههای آموزشی مربوط به مناطق حساس (مانند تبت) یا گروههای خاص، ذاتاً کدهای با کیفیت پایینتری داشته باشند و مدل تنها این الگو را بازتولید کند. انتزاع مفاهیم خطرناک توسط مدل امکان وجود دارد مدل به طور خودکار، بر اساس یادگیری خود، مفاهیمی مانند شورشی یا مخالف را با عدم اعتماد و کیفیت پایین مرتبط کرده و بر این اساس کد ناامن تولید نماید.
این تحقیق که توسط واشینگتن پست گزارش شده، زنگ خطر جدی را برای امنیت نرمافزاری در مقیاس جهانی به صدا در آورده و ضرورت ممیزی و حسابرسی مستقل مدلهای هوش مصنوعی را دوچندان کرده است.