Как только одурачить метод искусственного ума и чем это же чревато

    По ту сторону окна 2022 год. Вы едете на самоуправляемой машинке, как всегда, по городку. Седан подступает к знаку «стоп», мимо коего проезжал не мало раз, однако в сей раз и не останавливается перед ним. Вам этот символ «стоп» похож на альтернативные. Однако для седана он совсем альтернативный. Несколькими минутками раньше, никого и не предупредив, злодей приклеил на символ махонькую табличку, неприметную для людского очи, однако которую и не может и не заприметить разработка. Другими словами наимельчайшая наклейка на символе превратила символ «стоп» в нечто, совсем хорошее от символа «стоп».

    Все это же может появиться неописуемым. Однако возрастающая область исследовательских работ обосновывает, что искусственный ум возможно околпачат приблизительно эдак, ежели обнаружит какую-нибудь крохотную деталь, совсем неприметную для граждан. По мере тамошнего как только методы машинного обучения все почаще рождаются на наших дорогах, наши деньги, наша система здравоохранения, компьютерные ученые уповают познать все больше об фолиант, как только защитить них от схожих атак — прежде чем кто-то попробует обмануть них по-настоящему.

    «Это вызывает растущую озабоченность в области машинного обучения и общества ИИ, в особенности так как эти методы употребляются больше и больше», разговаривает Дэниел Лоуд, доцент кафедры компьютерных и информационных наук в Институте Орегона. «Если мусор проходит либо блокируется несколько писем, это же гораздо и не финал света. Однако ежели вы полагаетесь на систему видения в самоуправляемой машинке, которая разговаривает кару, как только ехать, ни во что и не врезаясь, ставки будут намного выше».

    Независимо от тамошнего, сломается машинка либо будет взломана, пострадают методы машинного обучения, кои «видят» мир. И вот для машинки панда начинает высмотреть как только гиббон, а уж школьный автобус — как только страус.

    В одном опыте ученые из Франции и Швейцарии продемонстрировали, как только этакие возмущения умеют вынудить персональный компьютер неверно принять белку за светло-серую лису, а уж кофейник за попугая.

    Как только это же может быть? Задумайтесь об фолиант, как только подросток обучается распознавать числа. Разглядывая знаки один за одним, подросток начинает подмечать некие общие параметры: одни свыше и стройнее, шестерки и девятки содержат одну огромную петлю, а уж восьмерки — две, и т.д.. Опосля тамошнего как только они заметят довольно примеров, они умеют резво распознавать новейшие числа в образе четверок, восьмерок либо троек — даже ежели благодаря шрифту либо почерку они и не будут высмотреть определенно эдак же, как только любые альтернативные четверки, восьмерки либо тройки, кои они когда-либо ранее лицезрели.

    Методы машинного обучения обучаются читать мир сквозь несколько схожий процесс. Ученые скармливают персональному компьютеру сотки либо тыщи (привычно помеченных) примеров тамошнего, что они жаждили бы найти на персональном компьютере. Когда машинка просеивает заданные — это же число, это же нет, это же число, это же нет — она начинает подмечать индивидуальности, кои приводят к ответу. Скоро она может взглянуть на картину и сообщить: «Это пять!» с высочайшей точностью.

    Таким макаром, как только людские детки, эдак и компы умеют научиться распознавать неограниченное количество объектов — от цифр перед началом кошек, от лодок перед началом отдельных человечьих лиц.

    Однако, в отличие от дитяти человека, персональный компьютер и не направляет внимания на детали высочайшего уровня — вроде лохматых ушей кошек либо отличительной угловатой формы четверки. Он и не лицезреет монолитную картину.

    Заместо сего он глядит на отдельные пиксели изображения — и на самый стремительный метод поделить объекты. Ежели подавляющее число единиц будет иметь темный пиксель в конкретной точке и несколько белоснежных пикселей в остальных точках, машинка максимально резво научится них измерять по нескольким пикселям.

    Сейчас вернемся к знаку «стоп». Неприметно поправив пиксели изображения — специалисты именуют этакое вмешательство «пертурбациями» — можно одурачить персональный компьютер и вынудить мыслить, что символа «стоп», в сути, и нет.

    Подобные научные исследования, проведенные в Лаборатории эволюционного искусственного ума в Институте Вайоминга и Корнеллского вуза, произвели достаточно не мало оптических иллюзий для искусственного ума. Эти психоделические образы абстрактных орнаментов и оттенков ни на что и не похожи для граждан, однако резво распознаются персональным компьютером в образе змей либо винтовок. Это же разговаривает об фолиант, как только ИИ может глядеть на что-то не созидать объект, или созидать заместо него что-то альтернативное.

    Эта беспомощность всераспространена во любых типах алгоритмов машинного обучения. «Можно существовало бы ждать, что каждый метод имеет брешь в броне», разговаривает Евгений Воробейчик, доцент кафедры информатики и вычислительной техники в Институте Вандербильта. «Мы живем в максимально сложноватом многомерном мире, и методы по собственной природе затрагивают только маленькую его часть».

    Воробейчик «крайне уверен», что, ежели эти уязвимости есть, кто-то узнает, как только ими пользоваться. Возможно, кто-то уже это же изготовил.

    Разглядим спам-фильтры, автоматические програмки, кои отсеивают любые неповоротливые электрические письмеца. Спамеры умеют постараться обойти этот заслон, изменив написание слов (заместо виагры — ви@гра) либо добавив перечень «хороших слов», кои привычно встречаются в обычных письмах: вроде «ага», «меня», «рад». Меж тем самым спамеры умеют постараться устранить слова, кои частенько рождаются в мусоре, к примеру, «мобильный» либо «выигрыш».

    Перед началом чего же умеют дойти мошенники в один великолепный денек? Самоуправляемый седан, обманутый наклейкой на символ «стоп», является традиционным сценарием, который был выдуман профессионалами в данной области. Добавочные заданные умеют посодействовать порнухи перескочить сквозь неопасные фильтры. Альтернативные умеют постараться прирастить количество чеков. Хакеры умеют подправить код вредного программного обеспечения, дабы улизнуть от органов правопорядка.

    Нарушители умеют осознать, как только производить пропускающие заданные, ежели заполучат копию метода машинного обучения, которое намерены одурачить. Однако дабы пробраться через метод, это же не неукоснительно. Можно ординарно сломать его грубой силой, набрасывая на него малость различные версии электрической почты либо изображений, пока что они и не пройдут. С течением времени это же можно будет даже применять для совсем новейшей фотомодели, которая будет аристократию, что отыскивают хорошенькие ребята, и какие осуществлять заданные, дабы них одурачить.

    «Люди манипулируют системами машинного обучения с того времени, как только они были представлены впервые», разговаривает Патрик Макдэниел, доктор компьютерных наук и инженерии в Пенсильванском институте. «Если люди задействуют эти способы, мы можем даже о этом и не знать».

    Этими же способами умеют пользоваться не совсем только мошенники — люди умеют прятаться от рентгеновских очей современных технологий.

    «Если вы какой нить политический диссидент при репрессивном режиме и желаете проводить мероприятия без ведома спецслужб, для вас может пригодиться избегание автоматизированных способов наблюдения на базе машинного обучения», разговаривает Лоуд.

    В одном из проектов, размещенных в октябре, исследователи из Вуза Карнеги — Меллона сделали пару очков, кои умеют тонко внедрить в заблуждение систему определения лиц, заставив персональный компьютер неверно воспринимать актрису Риз Уизерспун за Рассела Кроу. Это же звучит курьезно, однако такова разработка может понадобиться кому-нибудь, кто отчаянно пробует избежать цензуры со стороны власть имущих.

    Что все-таки со всем сиим выполнять? «Единственный метод целиком избежать сего — создать безупречную фотомодель, которая будет все время правильной», разговаривает Лоуд. Даже ежели мы сумели бы сделать искусственный ум, который затмил бы граждан во всем, мир все гораздо может подложить свинью в внезапном месте.

    Методы машинного обучения привычно делают оценок по них точности. Програмка, которая распознает стулья в 99% случаев, будет очевидно предпочтительнее, чем тамошняя, которая распознает 6 стульев из 10. Однако некие специалисты дают альтернативный метод оценки способности метода совладать с атакой: чем жестче, тем самым предпочтительнее.

    Альтернативное решение может заключаться в фолиант, дабы специалисты могли задавать программкам конкретный темп. Сделайте свои собственные примеры атак в лаборатории, исходя из способностей преступников на ваш взор, а уж потом покажите них методу машинного обучения. Это же может посодействовать ему же предстать наиболее устойчивым со временем — при условии, конечно же, что тестовые атаки будут соответствовать типу, который будет проверен в действительном мире.

    «Системы машинного обучения — инструмент для осмысления. Мы обязаны быть разумными и оптимальными в отношении тамошнего, что мы им же даем и что они нам говорят», полагает Макдэниел. «Мы и не обязаны относиться к ним как только к совершенным оракулам истины».