Большинство нейросетей, созданных для распознавания объектов на изображениях, оказалось легко обмануть, чуть изменив положение объекта на фотографии.
В Обернском университете (Алабама) и Adobe проверили нейросети на специальном ПО и доказали, что даже лучшие нейросети лишь в 3% случаях могут правильно распознать один и тот же объект. Последние два года многие исследователи отмечают проблему, характерную для многих подобных нейросетей: их уязвимость к специально созданным входным данным, нацеленным на то, чтобы обмануть ИИ. Иногда ошибки алгоритмов могут вызвать улыбку. Например, когда вместо безобидной черепашки ИИ видит винтовку. Однако подобные ошибки могут быть опасными. Нейросети уже распознают объекты в серьезных сферах вроде управления транспортом, и беспилотный автомобиль может свернуть не туда лишь из-за смены освещения. Поэтому разработчики проверили точность распознавания объектов популярной нейросетью Inception v3. Тестирование показало, что лишь 3,09% снимков одного и того же предмета было распознано правильно. Поворот объекта всего на 8 мм способен заставить нейросеть работать некорректно. Перенеся состязательные примеры на другие алгоритмы, исследователи выяснили, что и их можно обмануть в 99,9% случаев.
Недавно учёные представили метод, по которому можно «переучить» алгоритм выполнять другое действие. Для этого нужно только правильно собрать входные данные. С помощью таких входных данных заставили алгоритм, обученный распознанию животных, распознавать рукописи.
