Большинство пользователей интернета слышали такое выражение как «машинное обучение» или «machine learning». А все ли знают, что это такое? Machine Learning — это способ использовать искусственный интеллект, когда он решает какие-то новые задачи за счет предварительного решения похожих задач. По сути, это некая программа, которой «показывают» определенные задачи и ответы на них. Это процесс обучения. «Программа» начинает "понимать" как решать подобные задачи, поэтому потом она способна их самостоятельно решать. Самый простой пример, когда программу «учат» различать какие-то образы на изображениях, а потом она способна эти образы различать самостоятельно. Технология «Face ID» в вашем смартфоне — это результат машинного обучения, когда программа в телефоне «научилась» различать образ хозяина телефона.
Machine Learning — объемная и обширная тема, которая включает в себя:
изучение большого разнообразия инструментов;
изучения разных методов обучения;
различные языки программирования и их библиотеки;
и др.
Но сегодняшнюю статью мы посвятим такой теме как «Machine Learning Anomalous». Это «аномальное машинное обучение», еще оно носит название «вредоносное машинное обучение», «неблагоприятное машинное обучение» или на английском «Adversarial Machine Learning». Давайте разбираться, что это такое.
Machine Learning Anomalous — что это?
Машинное обучение и искусственный интеллект призваны служить человеку, облегчая его жизнь и рабочие процессы. Однако не все так радужно, как кажется на первый взгляд. При внедрении «умных» программных процессов мало кто задумывается о негативных аспектах, которые могут создаваться другими людьми. Негативный аспект нужен для того, чтобы скомпрометировать работу искусственного интеллекта и направить ее по ложному пути. Современные ИИ-системы пока очень слабо противостоят такому злому умыслу со стороны недобросовестных людей.
С точки зрения возникновения новых технологий, появление непредвиденных препятствий перед ними это обычная ситуация. Например:
На заре возникновения автомобилестроения мало кто задумывался о безопасности и правилах дорожного движения. А сейчас — это очень важная часть, так как высок риск возникновения аварий на дорогах.
Когда конструкторы придумывали первые компьютеры, мало кто задумывался, что появятся вредоносные программы, которые смогут выводить компьютеры из строя.
При создании интернета, никто и не задумывался, что будет существовать альтернативная сеть, где будут вестись все «черные» человеческие и хакерские дела.
Так и с машинным обучением. При работе над Machine Learning, вряд ли кто-то осознавал, что у этого процесса появится угроза в виде Machine Learning Anomalous, которая компрометирует и создает помехи процессу машинного обучения.
По сути, Machine Learning Anomalous — это инструмент для атаки нейронных сетей и машинного обучения. Главная его цель — это вызвать ошибки в работе нейросети. Его можно сравнить с «malware» для программного кода, с той лишь разницей, что Machine Learning Anomalous атакует машинное обучение.
Как работает Machine Learning Anomalous
Наиболее часто машинное обучение применяется в системах компьютерного зрения, когда программы учат распознавать определенные объекты на изображениях или видео. Технология Machine Learning Anomalous позволяет сделать так, чтобы компьютерное зрение «не увидело то, что на самом деле изображено на изображении». К примеру, на исходное изображение, которое должно распознать программа, накладывают специальный «шум». Таким образом программа распознает не то, что изображено на исходном изображении, а под влиянием «шума» она распознает что-то иное.
Другими словами, с помощью Machine Learning Anomalous можно обойти функцию распознавания лиц на устройствах и зайти в него под именем его владельца. Но самое важное, что Machine Learning Anomalous компрометирует не только компьютерное зрение, но и распознавание голоса, текста и др. Вот и получается, что Machine Learning Anomalous — это способ обойти биометрическую защиту.
В конечном счете получается, что Machine Learning Anomalous является антиподом Machine Learning. Одна система противостоит другой. Все как и в обычном программировании, когда один программный код противостоит другому программному коду. По обе стороны заложены знания людей, которые преследуют разные цели: одни преследуют цель «сохранить и обезопасить», а вторые — «атаковать».
Чтобы реализовать Machine Learning Anomalous, нужно обладать определенными сведениями об атакуемой системе. Например:
данные для обучения системы;
источники данных;
цели и основные функции атакуемой системы;
предполагаемые или полученные результаты машинного обучения;
алгоритмы обучения;
и др.
То есть, чтобы реализовать Machine Learning Anomalous, нужен серьезный набор информации, который бывает довольно сложно достать. Благодаря чему, пока еще Machine Learning Anomalous не имеет большого распространения и встречается в частных случаях. Но потенциал проблем, которые может принести Machine Learning Anomalous, просто огромен.
На сегодняшний день атаки Machine Learning Anomalous делятся на 2 вида:
Отравляющий вид. Это атаки Machine Learning Anomalous, которые совершаются во время обучения модели нейронной сети. Их цель сделать так, чтобы нейронная сеть обучалась и работала с ошибками.
Искажающий вид. Этот вид атаки нацелен на уже обученные модели нейронной сети. Его цель — фальсифицировать работу готовой модели и воспользоваться этой фальсификацией.
Заключение
У каждой технологии в программистском мире есть собственный антипод. У машинного обучения — это Machine Learning Anomalous. Это относительно «молодая» зловредная технология. О ней заговорили в 2004 году. Однако осознали, что это действительно проблема, совсем недавно — во время выхода первых беспилотных автомобилей.
Подход Machine Learning Anomalous пока развит довольно слабо и используется довольно редко. Но самое главное, что до сих пор нет качественных способов и инструментов ему противоборствовать. Все что есть — это программы, которые способны обнаружить уже «зараженную» нейронную сеть.
Другое
