ИИ не обманешь: в СКФУ разработали комплекс программ для обнаружения подмены данных в системах компьютерного зрения

Студенты Северо-Кавказского федерального университета (СКФУ) представили прототип анализатора нейросетей на подверженность состязательным атакам. Анализатор может распознавать фальшивые файлы в нейронных сетях.

Программный комплекс, разработанный студентами СКФУ, поможет проверить, насколько хорошо защищена нейронная сеть, и предложит методы улучшения ее устойчивости. Состязательные атаки мошенников направлены на искажение данных с целью ввести систему в заблуждение и получить неправильный результат. Предотвратить алгоритмы злоумышленников призван анализатор нейронных сетей.

– Нейросети имеют большой потенциал в анализе вредоносных программ. Они позволяют буквально сканировать файлы на наличие искаженных компонентов. Разработки наших ученых направлены на повышение безопасности и устойчивость к кибератакам в самых разных сферах деятельности. Это особенно важно, учитывая постоянно увеличивающееся число киберугроз, направленных против информационных систем нашей страны, – прокомментировал ректор СКФУ Дмитрий Беспалов.

Метод работы предложенного анализатора прост: если нейросети дали неправильные данные, то при тесте на правильных она будет совершать ошибки. Чем больше ошибок на конкретном элементе, тем выше вероятность искажения этого элемента. Для работы студенты СКФУ Глеб Дюдюн и Денис Котляров использовали нейросеть и её параметры. На её основе авторы разработки создавали копии нейросети с такими же параметрами, но обучали ее на правильных ответах.

– Анализатор поможет повысить уровень безопасности и надежности нейронных сетей в различных прикладных областях. Применяться разработка может в интеллектуальных системах видеонаблюдения, которые сейчас активно использует ГИБДД или диспетчерские службы, способные по изображению опознать злоумышленника. Если кибермошенник получит доступ к данной системе и изменит алгоритм своего распознавания, на котором обучается нейросеть, то он всегда будет уходить незамеченным и даже в повседневной жизни не будет обнаружен, – рассказал автор разработки, студент Института цифрового развития СКФУ Глеб Дюдюн.

Студенты Глеб Дюдюн и Денис Котляров под руководством доцента кафедры информационной безопасности СКФУ Марии Лапиной представили работающий прототип. На простых вариантах атаки он показал себя успешно и уже сейчас планируется масштабирование. Конечная цель разработки – создание программного обеспечения.

Научные исследования ребят прошли апробацию на Коллоквиуме молодых исследователей по программной инженерии в мае 2023 в Перми. Исследования студентов опубликованы в журнале ВАК «Труды Института системного программирования РАН».