Роботы-убийцы: казнить нельзя помиловать

    В городке Тэджон, Южная Корея, производитель вооружений спроектировал и возвел пулеметную турель, которая в состоянии измерять, выслеживать и отстреливать цели, на теоретическом уровне, без людского вмешательства. Кто будет учить этих боец правилам войны? Корреспондент BBC побывал в посетителях у южнокорейского производителя автономных роботов-убийц. Предстоящее повествование — от первого личика.

    Роботы-убийцы: казнить нельзя помиловать

    На темно-зеленом холмике с общим видом на усаженный деревьями периметр Тэджона, городка в центральной части Южной Кореи, инсталляция пулеметной турели лениво обшаривает горизонт. Она размером  с огромную собаку: грузная, белоснежная и незапятнанная. Ремень с патронами — .50 калибра, вроде тамошних, которыми можно прошивать грузовики — переброшен сквозь плечо инсталляции. Сетевой кабель получается от основания пушки и устремляется сквозь аккуратную травку к маленькому подвесному тенту, под которым в горячий корейский полдень можно перехватить несколько бутербродов с огурцом и чашечку чая.

    Брезгуя чаем, кабель скользит ввысь по столу и уходит в заднюю часть компа, дисплей коего показывает цветастую коллекцию изображений с фотокамер. Одна выводит «рыбьим глазом» 180-градусную развертку горизонта пред нами. Иная демонстрирует несколько спутниковых снимков ландшафта, как только на Гугл Maps, привязанная к нашей позиции.

    Темно-красный конус, наложенный на изображение, демонстрирует спектр обзора турели. Он протекает сквозь пейзаж: четырехкилометровый фрагмент местности, коего довольно, дабы просочиться вглубь городка с данной подходящей точки зрения. Рядом с клавиатурой присутствует непростой джойстик, который понадобился бы любителям летных симуляторов на ПК. Перед контроллером приклеен ламинированный лист, сообщающий об опциях разнообразных клавиш. Одни нацеливают. Альтернативные определяют дистанцию от турели перед началом цели. Третьи отправляют патроны в магазин. Нажмите на курок и турель будет стрелять.

    Роботы-убийцы: казнить нельзя помиловать

    Вокруг стола стоит ли стайка инженеров, вздрагивающая, когда начинает ишачить динамик, установленный на громоздком штативе. Квадрат цели мигает на дисплее компа, в его центре транспорт, который движется в видоискателе видеокамеры. Стебель оружия нацеливается на темно-красный квадрат, как будто выуженный из футуристического шутера Call of Duty. Динамик, обязанный аккомпанировать турель во любых ее экспедициях, знаменит как только бот акустического предупреждения. Его глас раздается в радиусе трех км. Звук доставляется с неописуемой точностью, предупреждая потенциальную миссию об фолиант, что в нее будут стрелять (по интернациональным законам, как только произнес лично мне один из инженеров, предупреждение обязано предварять всякую стрельбу). «Повернитесь, — говорит он на скоропалительном корейском языке. — Повернитесь, либо мы будем стрелять».

    Это же «мы» имеет значимое значение. Super aEgis II, южнокорейская популярнейшая автоматизированная турель, не совсем только и не будет стрелять без одобрения со стороны человека. Человек-оператор обязан первым делом внедрить пароль в it систему, дабы активировать способность турели стрелять. Потом он обязан вручную внедрить вводные заданные, кои дозволят турели стрелять. «Изначально она проектировалась и не эдак, — поясняет Юнгсук Парк, первостепенный исследовательский инженер из DoDAAM, производителя турели. Парк ишачит в подразделении механизированного наблюдения предприятия, которое размещено в техническом тэджонском районе Юшонг. В подразделении ишачит 150 человек, большая часть из которых, как только и Парк, инженеры. «Изначально мы задумывали систему автоматизированной стрельбы, — объясняет он. — Однако все наши клиенты попросили включить системы сохранности. Технологически это же и не существовало неувязкой для нас. Однако они переживали, что машинка может совершить ошибку».

    Super aEgis II, в первый раз показанное в 2010 году, является одним из новых автоматизированных оружий, могущих идентифицировать, выслеживать и уничтожать передвигающуюся миссию с немалого расстояния, в теории, без роли человека. Машинка оказалась пользующейся популярностью и выгодной. DoDAAM докладывает об продаже наиболее 30 единиц с момента выпуска, любая из которых предстала частью встроенных защитных систем ценой наиболее 40 миллионов баксов за штуку. Турель в текущее время интенсивно употребляется в бессчетных пространствах на Посредственном Востоке, включая три авиабазы в ОАЭ (Аль-Джафра, Аль-Сафран и Аль-Минад), Царский дворец в Абу-Даби, оружейню в Катаре и огромное количество остальных аэропортов, электрических станций, трубопроводов и военных авиабаз по всему миру.

    Роботы-убийцы: казнить нельзя помиловать

    Крайние 15 лет мир следил согласованное развитие как только подобного автоматического орудия, эдак и беспилотных летательных аппаратов. Южноамериканские военные задействуют этаких полуавтономных ботов для обезвреживания бомб и наблюдения. В 2000 году Конгресс США постановил, что третья часть военного наземного транспорта и авиалайнеров глубочайшего поражения обязаны быть изменены механизированным транспортом. Спустя шесть лет сотки ботов PackBot Tactical Mobile Robots прошли крещение Ираком и Афганистаном, открывая двери в муниципальных схватках, прокладывая оптоволокно, обезвреживая бомбы и выполняя альтернативные, коварные для граждан задачки без помощи снаружи.

    «Собственные ограничения»

    Гораздо в 2005 году New York Times сказал об замыслах Пентагона поменять боец автономными роботами. Не сложно осознать посему. Боты понижают целесообразность пользования боец в бою, тем спасая жизни этих боец, матросов и летчиков. Какой же родитель вышлет собственного подростка в военную зону, ежели бот может пойти заместо него? Однако хотя этакие прибора, как только Super aEgis II, могущие убивать автономно, есть все больше десяти лет, как понятно мировой общественности, целиком автономных оружейных ботов пока что и не существовало в активном пользовании.

    Первый закон робототехники, который вывел писатель-фантаст Айзек Азимов и который утверждает, что бот «не может причинить ущерб человеку либо собственным бездействием допустить, дабы человеку был причинен вред», в скором времени возможно нарушен. Призыв Комитета по людским правам запретить «разработку, создание и пользование целиком автономного оружия» кажется вообщем несуразным. Этакие машинки уже есть и продаются на базаре — хотя и с «собственными ограничениями», как только это же обругал Парк из DoDAAM.

    Роботы-убийцы: казнить нельзя помиловать

    «Когда мы затевали этот деловую, мы лицезрели вероятность, — говорит Янгчан Сонг, руководивший директор стратегического планирования DoDAAM, пока что мы сидим в холодном конференц-зале. — За автоматическим орудием будущее. Мы были правы. Эволюция были стремительной. Мы уже отошли от боевых механизмов с дистанционным руководством, потому ныне работаем вот над чем: мозговитые прибора, кои умеют воспринимать самостоятельные решения».

    Южная Корея предстала фаворитом в области военных ботов, так как страна граничит со собственным заклятым противником, как только разговаривает генеральный директор DoDAAM, Мен Хван Чанг (дородный человек, который бродит по собственной фабрике с красивым голубоглазым хаски, коего, как только меня предотвратили, я и не был должен трогать ни разу). «Надо — это же мама изобретений, — говорит он. — Мы живем в неповторимой ситуации. Рядом с нами массивный и всесущий неприятель. По причине константной опасности у нас существуют традиция разрабатывать массивные военные и инноваторские технологии в собственной стране. Наше орудие и не обязано кемарить, как только люди. Оно обязано созидать в мгле, чего же люди и не могут. Наши технологии обязаны закрыть бреши в способностях людей».

    В границах демилитаризованной зоны, тончайшей полосы ничейной почвы, отделяющей демократическую Южную Корею от Северной во главе с тераном, DoDAAM и ее соперник Самсунг, который тоже спроектировал (сейчас прекратившую свое существование) автоматизированную турель, проводила тесты Super aEgis II. ДМЗ — идеальное пространство для этакого орудия. Эта зона делит две Кореи с финала официальных переговоров в 1953; так как государства ни разу и не подписывали соглашение об прекращении огня, ДМЗ скрупулезно охраняют тыщи боец с каждой стороны. Турели не совсем только ни разу и не кемарят и обязаны созидать в мгле (благодаря тепловизорам), да и будучи направленными в подходящую точку, они обязаны измерять передвигающиеся цели как только неприятельские. Это же возможно мудрено, когда свои сочетаются с чужими. В текущее время никакое орудие и не может отличить собственных от чужих.

    Роботы-убийцы: казнить нельзя помиловать

    Сонг посиживает за обширным столом в округе пяти малолетних инженеров, большая часть из которых обучались в институтах Лиги Плюща в Америке, до того как возвратиться к работе в выгодной сфере орудия Южной Кореи. «Следующим этапом для нас станет точка, когда наше программное обеспечение может отличать друзей, противников, штатских и военных, — поясняет он. — Сейчас люди обязаны измерять, является миссию врагом либо нет». Парк и альтернативные инженеры говорят, что практически достигнули данной цели. Super aEgis II в силах находить потенциальные цели в области. (Оператор может даже очертить виртуальный периметр, в границах коего на передвигающегося противника будет наставляться пушка). Потом, благодаря бессчетным видеокамерам, по словам Парка, ПО оружия может измерять, существуют ли у возможной цели взрывчатка под одежкой. «Через десять лет, думаю, мы сможем компьютерным методом измерять тип противника по униформе», — говорит он.

    Опосля тамошнего как только орудие научится различать друга от неприятеля и автоматизированно раскрывать огнь по крайнему, это же ознаменует маленький этап к тотальной автоматизации. И как орудие научится измерять, когда и когда убивать, фантастика «Робокопа» станет действительностью. Германский философ Томас Метцингер утверждал, что перспектива повышения количества мучения во всем мире так ужасна морально, что мы обязаны закончить производство ботов с искусственным умом немедля. Однако денежные выгоды для корпораций, кои возводят этакие механизмы, проделывают идеи Метцингера совсем устаревшими. Боты не попросту идут к нам — они уже пришли. Вопросец в фолиант, чему мы будем них изучать.

    Сложноватые руководила

    Неполадка вагонетки Филиппы Фут, в первый раз конкретная в 1967 году, знаменита всем, кто хоть малость учился этике. Она представила последующий сценарий: беглая вагонетка приближается к стрелке жд путей. Ежели она продолжит движение, умрет пять работников. Ежели пустить ее иначе пути, умрет лишь один. Что вы будете выполнять, оператор? На этот этический вопросец вскоре придется отвечать и не нам, а уж нашим машинкам. Самоуправляемый седан может принять решение, врезаться в машинку спереди, тем подвергая угрозы едущих внутри нее граждан, или же свернуть на обочину, подвергнув угрозы своего пассажира. (Технология каров Гугл отчасти существовала воодушевлена модельером Себастьяном Труном, который растерял кого-либо в автокатастрофе. Рассказывают, это же привело к возникновению у него морального императива производить самоуправляемые авто, кои будут выручать жизни граждан.

    Роботы-убийцы: казнить нельзя помиловать

    Определенно эдак же целиком автономная версия беспилотного «Хищника», может быть, будет предпринимать, стрелять либо и не стрелять по особняку, в каком присутствуют как только неприятельские бойцы, эдак и штатские. Как только для вас, инженеру программного обеспечения, сделать комплект правил поведения для этаких механизмов в этаких сценариях? Может быть ли запрограммировать прибор на самостоятельное принятие решений? Для почти всех примитивным решением будет обойти эти вопросцы — дать принятия решения, которое нанесет ущерб человеку, оператору. По данной причине контрактом в Оттаве в 1997 году были запрещены мины. По наибольшей части это же автономное орудие, которое может подорвать хоть какого, кто на него вступит.

    В этом контексте предоставление прав руководства человеку целиком убивает весь смысл. Кажется банальным, к примеру, что пилоты обязаны иметь комплексный контроль над системой автопилота самолета. Однако трагедия Germanwings 2015 года, когда второй пилот Андреас Любиц преднамеренно врезал авиалайнер во французские Альпы, убив любых 150 пассажиров, усложняет дело. Возможно, по правде, и не позволять пилоту покупать на себя руководство персональным компьютером — по последней мере ежели он намерено пустить авиалайнер в скалы?

    «Есть несколько подходов в попытке создать этические машинки и огромное количество неурядиц, — поясняет Гэри Маркус, когнитивный ученый Нью-Йоркского вуза и первостепенный исполнительный директор и основоположник Geometric Intelligence. — Мы можем пробовать запрограммировать все заблаговременно, однако это же и не элементарно — как только, например, внушить програмке понятия вроде «справедливости» либо «вреда»?». Бытует очередной нюанс трудности, за исключением разноплановых терминов. Например, хоть какой комплект правил, выданных автоматическому бойцу, будет или очень абстрактным, дабы быть адекватно вычисляемым, или очень заядлым, дабы окутать все ситуации.

    Роботы-убийцы: казнить нельзя помиловать

    Некие полагают, что ответ покоится в имитации тамошнего, как только люди выстраивают этические рамки, с обучением реагировать на различные моральные руководила, выбирая те самый, кои более подступают к пространству.

    «Мы получаем интуитивное ощущение тамошнего, что это же этически приемлемо, когда смотрим, как только альтернативные ведут себя и реагируют на ситуации, — разговаривает Колин Аллен, доктор когнитивных наук и философии наук Вуза Индиады. — Другими словами, мы обучаемся тамошнему, что приемлемо, а уж что нет, говоря языком этики, у остальных — и не без угрозы выучить нехорошее поведение, репрезентующее нехорошее ролевое поведение. Даже ежели у машин будут похожие навыки к обучению либо же им же придется орудовать в агрессивно консервативных рамках, будут оставаться подводные камни».

    В DoDAAM у Парка существуют как бы разумный компромисс. «Когда мы достигнем точки, в какой у нас существуют турель, которая может воспринимать автономные решения без помощи других, мы гарантируем, что ИИ будет придерживаться армейского свода правил. Мы будем следовать сиим прескрипциям и включать эти руководила в наши системы».

    «Замороженные значения»

    Но Аллену этот замысел кажется слабым. «Google признает, что одна из сложнейших неурядиц для них программирования — это же то, как только автоматический седан обязан яизвестия себя в случае символа «стоп» по четырем фронтам, — объясняет он. — В этаком сценарии обязан стоять вопросец воззвания к здешним нормам, ежели следования заблаговременно заложенному коду — без серьезного исполнения людского указа». В хаотических критериях бойни бот обязан мыслить без помощи других. Существуют угрозу «заморозить» наши значения, как только военные, эдак и штатские, в аппаратном обеспечении. «Представьте если б отцы-основатели США заледенили свои значения на разрешение рабства, ограничение свободы дам и т.д., — разговаривает Маркус. — Скорее всего, нам востребована машинка с уверенной базой самообучения, которая, может быть, превышает наши навыки рассуждать морально».

    Роботы-убийцы: казнить нельзя помиловать

    Для Андерса Сандберга, старшего научного сотрудника Школы Оксфорд-Мартин Колледжа грядущего населения земли, потенциальные выгоды предложения машин выстраивать собственные этические рамки приходят параллельно со изрядными рисками. «По-настоящему самообучающаяся система может познать разнообразные значения и теории, по которым будет делать деяния, и ежели отразит них на самому себе, то готов стать заправдашним нравственным агентом в философском смысле. — разговаривает он. — Проблема в фолиант, что она может получить некоторые сумасшедшие либо чуждые нам значения, даже ежели начнет с общего спектра взглядов людей».

    А уж часики тикают. Предприятия вроде DoDAAM продолжают вынянчить на новейший уровень в собственной области гораздо перед началом тамошнего, как только наш общий вид отыщет адекватные ответы на ее вопросцы, кои появляются по роду деятельности. «Мы обязаны инвестировать в выяснение тамошнего, как только урегулировать программное обеспечение, как только вообщем форсировать это же урегулирование, как только проверить программное обеспечение, — призывает Маркус. — Мы обязаны а также инвестировать в выяснение тамошнего, как только включить этические рассуждения в машинки. Все это же тяжело, все это же станет критически немаловажным в наиблежайшие десятки лет».

    Аллен полагает, что время есть еще. «У нас существуют вероятность обмозговать последствия и вероятные пути них решения, пока что разработка присутствует в создании, — говорит он. — Я жаждил бы узреть объединенные комитеты предпринимателей, политиков и людей, кои наблюдают и делают оценок разработку машин, кои умеют ишачить без надзора граждан в общественных пространствах, на дорогах и в небе. Этакие панели обязаны следить за развитием данной области, эдак же как только людские комитеты наблюдают за делами людей».

    Сандберг соглашается, хотя полагает, что мы далеки от эффективных ответов, кои умеют быть приведены в какое-либо урегулирование. «Срочно надо все больше исследовательских работ, — разговаривает он. — Серьезные научные исследования машинной этики и сохранности ИИ — это только новое поле. Первые идеи возникли в финале 90-х, спустя десятки лет опосля тамошнего, как только возникли университеты ИИ. Мы находим новейшие сюрпризы всегда: непостоянность тривиальных способов сотворения этических машин и глубочайшие философские трудности вытекают из простых, казалось бы, инженерных проблем». Сандберг полагает, что ключ покоится в междисциплинарной работе философов, инженеров, социологов и даже экономистов. «Теории недостаточно, — говорит он. — Мы обязаны объединяться с людьми, проектировать и развертывать эти системы».

    Роботы-убийцы: казнить нельзя помиловать

    На фабрике DoDAAM в Тэджоне у инженеров нет точных ответов на вопросцы, кои эдак резво выплыли по роду них деятельности. «Человеческая жизнь главнее всего, потому мы и включили системы сохранности в собственную турель», — разговаривает Сонг. Однако для Парка и остальных инженеров, это же состояние — временное. Них миссию — сделать товар «умнее», сосредоточившись на «увеличении автономной функциональности орудия», предположить «определение целей» и «создать сетевую систему турелей», в какой одна турель будет связываться с альтернативный, покрывая гигантские расстояния.

    Независимо от тамошнего, что будет может быть в дальнейшем, автоматизированные машинки, кои умеют измерять, выслеживать, предупреждать и уничтожать цели посреди граждан, и не нуждаясь в руке помощи граждан, уже есть в нашем мире. Без точных интернациональных терминов, единственное, что сдерживает производителей орудия от реализации этаких машин, это же здравый смысл, при этом со стороны клиентов быстрее, а уж и не бота либо инженеров. «Если кто-то придет к нам, желая получить турель без включенных систем сохранности, мы, конечно же, посоветуем его них включить и опишем потенциальные трудности, — говорит Парк. — Но за ними остается бесповоротное решение. И мы изготовим турель по желанию клиента».