Ключевые криминологические риски применения боевых роботов

Размещено на http://allbest.ru

Ключевые криминологические риски применения боевых роботов

И.Р. Бегишев

Анотація

Abstract

Key criminological risks of using combat robots

I.R. Begishev,

В последние годы страны по всему миру начали разрабатывать приложения для искусственного интеллекта и машинного обучения для военных целей. Семь ключевых стран лидируют в сфере военного применения искусственного интеллекта: США, Китай, Россия, Великобритания, Франция, Израиль и Южная Корея, каждая из которых разрабатывает и исследует системы вооружений с большой автономией от остальных. Прогнозируется, что рынок искусственного интеллекта в военной сфере вырастет с 5,42 млрд долларов США в 2016 г. до 8,70 млрд долларов США к 2022 г. при среднегодовом темпе роста 14,75% в течение прогнозируемого периода с 2017 по 2022 гг. [11].

М. Рот выделяет следующие прикладные отрасли применения искусственного интеллекта в военных целях:

«- автономное летальное оружие;

- наблюдение;

- кибербезопасность;

- национальная безопасность;

- логистика;

- автономные автомобили» [24].

Отметим, что в рамках настоящего исследования основное внимание сосредоточено на автономном летальном оружии как наиболее «чувствительном» секторе.

Автономное летальное оружие (боевые роботы) в рамках общего подхода - это «военная вооруженная платформа, перемещаемая по воздуху, по земле или воде, снабженная разнообразными сенсорами и датчиками и кибернетическим устройством искусственного интеллекта, способная по своему усмотрению, без контроля со стороны человека ориентироваться и передвигаться на местности, находить цель и переходить к уничтожению живой силы и техники противника в соответствии с оперативно-тактическими планами своего командования» [8]. Международный комитет Красного Креста определяет автономное летальное оружие как «систему вооружений с автономией в ее важнейших функциях. То есть система вооружения способна отбирать (искать или обнаруживать, идентифицировать, отслеживать, выбирать) и селективно атаковать (использовать силу, нейтрализовать, разрушать или уничтожать) цели без непосредственного человеческого вмешательства» [17].

Т.М. Жантикин, рассматривая автономные системы оружия летального действия (далее - АСОЛД), позиционирует его как «систему вооружений летального действия, способную самостоятельно, без вмешательства человека, выявлять и классифицировать цели, принимать решение и уничтожать их» [4, с. 116].

Исследователь считает, что с учетом приведенного определения из АСОЛД следует исключить системы вооружений, дистанционно управляемые человеком (оператором):

- управляемые ракеты;

- атакующие беспилотные летательные аппараты;

- атакующие беспилотные наземные и подводные аппараты и т.п. [4].

По его мнению, автономия в действиях таких аппаратов отсутствует, т.к. конечное решение об уничтожении (поражении) цели принимает оператор. Также автор считает необходимым исключить из категории АСОЛД такие высокоавтоматизированные системы противовоздушной обороны, как С-400 или разрабатываемая С-500, C-RAM, Iron Dome, THAAD. Причина исключения - ограничение функции самостоятельного принятия решения об уничтожении цели [4].

В некоторой степени соглашаясь с вышеназванным автором, можно заключить, что говорить о полной автономности имеющихся боевых роботов еще рано, однако отдельные прототипы рассматриваемого оружия на сегодняшний день применяются некоторыми странами.

В частности, в различных условиях и средах без прямого участия человека могут существовать отдельные модели оружия, такие как наземный стационарный робот SGR-A1, разработанный южнокорейской компанией для контроля границы с Северной Кореей; израильская разработка «Гарпия», которая автоматически обнаруживает, атакует и уничтожает вражеские радиолокационные излучатели; американская автономная подводная лодка «Морской охотник», предназначенная для слежения за вражескими подводными лодками без контакта с оператором в течение 2-3 месяцев [18] и др. Рассматриваемое оружие было определено такими международными организациями, как «Lethal Autonomous Weapons Systems» (далее - LAWS), или «Смертоносные Автономные Системы Вооружений» (далее - САС). Последний термин также получил распространение в правовой практике Российской Федерации. Применительно к вопросу правового регулирования и контроля концептуально важным является такое свойство летального автономного оружия, как «автономия в важнейших функциях» В интерпретации Международного комитета Красного Креста. URL: https://www.icrc.org..

Как справедливо отмечает П. Асаро, «искусственный интеллект может использоваться военными различными способами, в том числе в системах вооружений и даже в важнейших функциях наведения и поражения.

Вопрос не в том, какая технология используется или в ее сложности, а в том, делегируются ли и каким образом полномочия по нацеливанию и взаимодействию автоматизированным процессам, и какие последствия это имеет для ответственности и подотчетности человека, а также для прав человека и человеческого достоинства» [12].

В рамках семинара, проведенного экспертами Центра мира и безопасности Стэнли совместно с Управлением ООН по вопросам разоружения, представителями научного сообщества были выделены три ключевые области, нуждающиеся в активном обсуждении и поиске оптимальных путей регулирования:

- потенциальные риски военного применения САС. Несомненно, существуют риски, связанные с применением САС в военных целях, которые необходимо должным образом урегулировать;

- потенциальные преимущества военного применения САС. Экспертами отмечается необходимость пристального изучения потенциала позитивного применения искусственного интеллекта в военной области и разработать государственные и многосторонние средства безопасного использования этих преимуществ;

- потенциальное управление и контроль за военными приложениями с искусственным интеллектом. Существуют значительные проблемы для международного управления, связанные с этими новыми технологиями, и основная работа заинтересованных сторон будет заключаться в разработке юридических конструкций, которые уравновешивают риски и преимущества и приводят к компромиссу [19].

При отсутствии надлежащего контроля за указанными системами вполне закономерным является прогнозирование целого ряда проблем.

Все нарастающие темпы распространения в мире указанного вида оружия в последние годы, а также потенциальные угрозы от его использования чрезвычайно беспокоят прогрессивное человечество.

Так, участники 24-й Международной объединенной конференции по искусственному интеллекту, среди которых был и основатель Tesla Inc. и Space X Илон Маск, высказались против создания боевых роботов с искусственным интеллектом и подписали открытое письмо против «гонки вооружений в области военного применения искусственного интеллекта» и за запрет «наступательного автономного оружия» [13]. Они призвали отказаться от использования искусственного интеллекта при создании боевой техники, а также предостерегали, что последствия указанной гонки вооружений могут быть непредсказуемыми: «Технологии искусственного интеллекта достигли такого уровня, что развертывание автономного оружия - пусть пока не с юридической, но с практической точки зрения - возможно в течение нескольких лет, и ставки высоки: автономное оружие рассматривается как третья глобальная революция в военном деле, после пороха и атомной бомбы» [13]. Авторы письма, а также другие представители прогрессивной мировой общественности считают, что полностью автономное оружие не будет в состоянии соответствовать международному гуманитарному праву и правам человека, создаст проблему с определением ответственных лиц в случае противоправных действий автономных аппаратов [1, с. 187].

Развернутая 165 неправительственными организациями в 65 странах акция «Кампания, чтобы остановить роботов-убийц» (Campaign to stop killer robots) также направлена на запрет полностью автономного оружия и сохранение реального контроля за его использованием.

В своем обращении для Первого комитета Генеральной Ассамблеи ООН по разоружению и международной безопасности, состоявшейся 13 октября 2020 г. в Нью-Йорке, представители-активисты отметили: «Системы вооружений, которые выбирают и поражают цели без реального контроля со стороны человека, подрывают основные принципы международного гуманитарного права и права в области прав человека, включая право на жизнь, средства правовой защиты и достоинство. Такие системы вооружений должны быть запрещены. Кампания по борьбе с роботами-убийцами призывает государства начать переговоры по новому договору, чтобы сохранить значимый человеческий контроль над применением силы» [25].

В числе основных рисков отсутствия запрета на использование автономного летального оружия активистами отмечаются следующие:

1) фактическое предоставление автономному оружию, лишенному социально значимых качеств, таких как сострадание, этичность, права на определение дальнейшей судьбы отдельных лиц или группы людей: кто будет жить, а кто нет, будет решать «бездушная машина»;

2) растущие темпы разработок автономного летального оружия ведут к неизбежной «гонке роботизированного вооружения», что чревато несомненной эскалацией на мировой арене, в особенности в горячих точках;

3) неспособность роботов дифференцировать военных от мирных жителей может привести к крайне трагическим событиям;

4) отсутствие единых механизмов привлечения к ответственности за противоправные действия, вызванные полностью автономным оружием. На сегодняшний день неясно, кто должен нести ответственность: программист, производитель, оператор или сама машина;

5) возможность использования автономного оружия в невоенных целях. Автономное летальное оружие может использоваться для подавления протестов и поддержки диктаторских режимов. «Сила, задуманная как не смертельная, может стать причиной многих смертей» [27].

Примечательно, что П. Асаро [12] и K. Вигнард [28] выделяют, помимо названных, также операционный риск, представляющий собой чрезмерное доверие или зависимость от решений автономного устройства, когда человек при объективных обстоятельствах полагается больше на выводы и решения машины (иногда заведомо ложные), чем на свое объективное восприятие действительности. Авторы отмечают, что в отличие от Станислава Петрова, спасшего мир от глобальной катастрофы в 1983 г. [14], сегодня операторы не склонны подвергать сомнению и критически воспринимать решения и выводы машины. В исследовании Стокгольмского международного института изучения мира выделяются три ключевые характеристики САС:

1. Хрупкость искусственного интеллекта. САС может «эффектно потерпеть неудачу, столкнувшись с задачей [или средой], которая немного отличается от того, для чего он был обучен».

2. Непрозрачность и непредсказуемость машинного обучения. Системы, основанные на машинном обучении, могут генерировать необъяснимые результаты и непредсказуемое поведение.

3. Уклон, заложенный в системах. Системы САС с искусственным интеллектом, включая системы, подвергнутые машинному обучению, могут включать в себя человеческие предубеждения, которые могут иметь пагубные последствия, особенно когда эти системы предназначены для поддержки важных человеческих решений, таких как решение о применении силы [15].

Опираясь на вышеупомянутые инициативы, а также результаты исследования некоммерческой исследовательской организации, разрабатывающей решения проблем государственной политики в сфере безопасности, Rand Corporation [20], видится логичным выделить следующие группы криминологических рисков применения САС:

1. Операционные риски:

- принятие решения может быть чрезмерно быстрым;

- САС может быть менее аккуратным и точным, чем человек;

- сложность дифференциации САС аномалий от угроз.

2. Этические риски:

- сложность в отграничении для САС комбатантов от нонкомбатантов;

- может возникнуть предвзятость в автоматизации;

- уменьшение атрибуции и поощрение негативного поведения.

3. Политические риски:

- применение САС может привести к эскалации конфликта;

- уменьшение стоимости военных действий и, как результат, увеличение количества конфликтов;

- возможность использования автономного оружия в невоенных целях.

4. Непрогнозируемые риски:

- невозможность полной адаптации программы к реальным условиям;

- ошибки в исходных данных могут привести к искажению конечного результата;

- системы могут быть использованы до полного тестирования всех свойств и спровоцировать непрогнозируемое;

- неопределяемые риски в поведении.

5. Юридические риски:

- отсутствие правового регулирования может привести к широкому распространению САС;

- САС могут быть уязвимы для взлома и несанкционированного вмешательства;

- отсутствие единых механизмов привлечения к ответственности за противоправные действия, вызванные полностью автономным оружием.

6. Экологические риски:

- использование САС с ядерным зарядом может привести к непоправимой экологической катастрофе.

Отметим, что все указанные риски нуждаются в скорейшем исследовании и минимизации их негативного воздействия, и в данном аспекте международно-правовое регулирование приобретает особую значимость. В упомянутом исследовании Стокгольмского института [15] отмечается, что при изучении упомянутых рисков и поиске оптимальных моделей правового регулирования странам необходимо придерживаться двух принципов: правовой смертоносный вооружение боевой робот

1. Инклюзивность, предусматривающая возможность открытого диалога вне политических альянсов. Обсуждение рисков и норм, которые могли бы регулировать использование искусственного интеллекта в военной сфере в целом и в ядерном контексте в частности, также должно проходить между государствами-членами НАТО, Россией и другими ядерными государствами, такими как Китай и Индия.

2. Применение уже имеющихся механизмов и инструментов международно-правового регулирования для сферы создания и использования САС.

На международном уровне проблема регулирования использования автономного летального оружия сегодня обсуждается с учетом положений Конвенции 1980 г. о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие: в частности, уже в 2014 г. в связи с развитием высоких технологий в военной отрасли указанный вопрос чрезвычайно актуализировался [2].

Однако на сегодняшний день не разработан и не утвержден специальный договор, который регулировал бы применение САС в вооруженном конфликте. Частично данные правоотношения регулируют положения Женевских конвенций 1949 г., а также оговорка Мартенса, согласно которой использование оружия запрещено, если это идет вразрез с принципом гуманности и требованиями общественного сознания. Данная оговорка определена Международным судом ООН как эффективное средство реагирования на стремительно меняющиеся военные технологии [6].

В части 2 ст. 35 Дополнительного протокола I к Женевским конвенциям 1949 г. указано, что стороны вооруженного конфликта не могут применять оружие, способное причинить излишние повреждения или излишние страдания [3]. Следовательно, в рамках данного документа в соответствии со ст. 36 государствам-участникам, которые осуществляют разработку и планируют применение САС, необходимо выяснить, не попадают ли их разработки под запрет указанного протокола.

Исследователи считают, что создание и использование САС может быть запрещено так же, как сегодня запрещено производство и применение химического оружия [5]. Оружие, оснащенное искусственным интеллектом, уже сегодня существует и даже ограниченно применяется, представляя собой, по мнению многих экспертов, одну из самых серьезных этических и технологических проблем XXI в. [7, с. 63]. Есть мнение, что в качестве альтернативы правового регулирования может выступить дополнительный протокол к Конвенции о «негуманном» оружии 1980 г. [9, с. 24].

А.Ю. Скуратова и Е.Е. Королькова считают, что «использование САС может быть запрещено или ограничено по аналогии с минами» [9, с. 22]. Авторы предлагают обозначить САС в рассматриваемом дополнительном протоколе как «системы, обладающие искусственным интеллектом и способные убивать, наносить повреждения или ущерб без вмешательства человека при непосредственном принятии указанных решений и непосредственном их осуществлении» [9, с. 23]. Кроме того, САС необходимо полностью запретить к использованию в отношении гражданских лиц и объектов, при этом последние должны быть оповещены о том, где располагаются САС.

Важным фактором выступает также идентификация боевого робота в качестве военного объекта, маркировка под безопасный объект должна быть запрещена. Также в процессе протекания того или иного военного конфликта сторонам необходимо уведомлять друг друга о том, что они намерены применять САС в определенной военной операции [9, с. 24].

Одновременно вопросы, связанные с созданием САС с ядерным зарядом, должны быть урегулированы в рамках процесса рассмотрения действия договора о нераспространении ядерного оружия 1968 г. Указанный риск также должен быть частью двусторонних обсуждений по снижению ядерных рисков, особенно между Российской Федерацией и США.

Однако темпы развития технологий настолько высоки, что осуществлять тщательный и повсеместный контроль возможностей искусственного интеллекта в военной сфере практически невозможно. По этой причине необходимость разработки и принятия нового международного акта, на который можно было бы опираться в указанном случае, налицо.

Диалог с гражданским обществом и академическими кругами позволит определить и минимизировать максимальное количество потенциальных криминологических рисков применения САС, в т.ч. и на этапе их создания и ввода в эксплуатацию, помочь государствам лучше понять скорость и траекторию развития технологии, а государства, в свою очередь, могут помочь научным и промышленным кругам лучше осознать риски безопасности, связанные с технологиями, которые они исследуют и разрабатывают [15]. В этой связи уместным будет упомянуть ряд гражданских инициатив. Широкое распространение получили общественные инициативы по ограничению распространения летального автономного оружия: открытое письмо «Научно-исследовательские приоритеты для создания надежного и полезного искусственного интеллекта» Института будущего [23], Глобальная инициатива IEEE по этике автономных и интеллектуальных систем [26], глобальный саммит AI for Good [10], инициатива «Открытый искусственный интеллект» [21], «Сотрудничество по искусственному интеллекту» [22] и акция «Кампания, чтобы остановить роботов-убийц» [16].

Таким образом, исследование незаконного оборота летального автономного оружия позволяет заключить следующее. Развитие цифровых технологий идет высокими темпами, не исключено, что в ближайшем будущем САС станет реальностью, и для поддержания мира и сохранения безопасности необходимо в достаточно короткие сроки осуществить закрепление правового регулирования отношений в военной сфере с использованием САС как на международном, так и на внутригосударственных уровнях.

Анализ международных документов в исследуемой области свидетельствует, что рассматриваемая проблема недостаточно регламентирована на уровне межгосударственного взаимодействия. По причине отсутствия единого подхода и трактовки большинством стран категории САС возникает множество вопросов, связанных с правовым регулированием его применения.

Если проблемы, связанные с правовым регулированием ведения военных действий и применения силы, в международных правовых актах рассмотрены достаточно подробно, то вокруг юридической природы применения и оборота САС в международных отношениях ведутся постоянные дискуссии.

Литература

1. Виловатых А.В. Искусственный интеллект как фактор военной политики будущего // Проблемы национальной стратегии. 2019. № 1 (52). С. 177-192.

2. Демидов О.В. Как ограничить смертоносные автономные системы? URL: https://etika.nplus1.ru/war/lars (дата обращения: 10.01.2022).

3. Дополнительный протокол к Женевским конвенциям от 12 августа 1949 года, касающийся защиты жертв международных вооруженных конфликтов, 8 июня 1977 г. (Протокол I) (с изм. и доп. от 30.11.1993) [Электронный ресурс]. Доступ из справ.-правовой системы «КонсультантПлюс».

4. Жантикин Т.М. Автономные системы оружия летального действия: типология, риски, проблемы правового регулирования // Право и государство. 2019. № 2 (83). С. 114-123.

5. Конвенция о запрещении разработки, производства, накопления и применения химического оружия и о его уничтожении (Париж, 13 января 1993 г.) // Собрание законодательства РФ. 1998. № 6. Ст. 682.

6. Консультативное заключение Международного Суда ООН от 8 июля 1996 г. по вопросу о законности угрозы ядерным оружием или его применения // Краткое изложение решений, консультативных заключений и постановлений Международного Суда. 1992-1996. Нью-Йорк, 1998. URL: https://www.iqj-cij.org/files/ summaries/summaries-1992-1996-ru.pdf (дата обращения: 10.01.2022).

7. Морхат П.М. К вопросу о соответствии автономных интеллектуальных систем вооружений принципам международного гуманитарного права // Вестник военного права. 2018. № 2. С. 58-65.

8. Поволоцкий Г. Автономные боевые роботы - будет ли новая гонка вооружений? URL: https://interaffairs. ru/news/show/13621 (дата обращения: 10.01.2022).

9. Скуратова А.Ю., Королькова Е.Е. Смертоносные автономные системы вооружений: проблемы международно-правового регулирования // Российский юридический журнал. 2019. № 1 (124). С. 22-30.

10. AI for Good Global Summit 2017. URL: https://www.itu.int/en/ITU-T/AI/Pages/201706-default.aspx (дата обращения: 10.01.2022).

11. Artificial Intelligence in Military Market by Offering (Software, Hardware, Services), Technology (Learning & Intelligence, Advanced Computing, AI Systems), Application (Information Processing, Cyber Security), Platform, Region - Global Forecast to 2025. Pune : MarketsandMarkets, 2018. 151 p.

12. Asaro P. Why the world needs to regulate autonomous weapons, and soon. URL: https://thebulletin. org/2018/04/why-the-world-needs-to-regulate-autonomous-weapons-and-soon/ (дата обращения: 10.01.2022).

13. Autonomous Weapons: An Open Letter from AI & Robotics Researchers. URL: http://futureoflife.org/AI/ open_letter_autonomous_weapons (дата обращения: 10.01.2022).

14. Blair B.G. My time with Stanislav Petrov: No cog in the machine. URL: https://thebulletin.org/2017/09/my- time-with-stanislav-petrov-no-cog-in-the-machine/ (дата обращения: 10.01.2022).

15. Boulanin V., Amadae S.M., Rickli J.-M., Avin Sh., Sauer F., Borrie J., Scheftelowitsch D., Bronk J., Stoutland P.O., Hagstrom M., Topychkanov P., Horowitz M.C., Kaspersen A., King C. The Impact Of Artificial Intelligence On Strategic Stability And Nuclear Risk. Stockholm: Stockholm International Peace Research Institute, 2019. 156 p.

16. Campaign to Stop Killer Robots. URL: https://www.stopkillerrobots.org (дата обращения: 10.01.2022).

17. Convention on Certain Conventional Weapons (CCW) Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS). Geneva: International Committee of the Red Cross, 2016. 6 p.

18. Kayser D. Killer Robots. URL: https://www.paxforpeace.nl/our-work/programmes/killer-robots (дата обращения: 10.01.2022).

19. Kozyulin V. The Militarization of Artificial Intelligence. New York : Stanley Center for Peace and Security, 2019. 32 p.

20. Morgan E., Boudreaux B., Lohn A.J., Ashby M., Curriden C., Klima K., Grossman D. Military Applications of Artificial Intelligence. Ethical Concerns in an Uncertain World. Santa Monica : Rand Corporation, 2020. 224 p.

21. OpenAI. URL: https://openai.com (дата обращения: 10.01.2022).

22. Partnership on AI. URL: https://www.partnershiponai.org (дата обращения: 10.01.2022).

23. Research Priorities for Robust and Beneficial Artificial Intelligence. URL: https://futureoflife.org/ai-open- letter (дата обращения: 10.01.2022).

24. Roth M. Artificial Intelligence in the Military - An Overview of Capabilities. URL: https://emerj.com/ai- sector-overviews/artificial-intelligence-in-the-military-an-overview-of-capabilities (дата обращения: 10.01.2022).

25. Statement to the UN General Assembly First Committee on Disarmament and International Security. New York: Campaign to Stop Killer Robots, 2020. 2 p.

26. The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. URL: https://standards.ieee. org/industry-connections/ec/autonomous-systems.html (дата обращения: 10.01.2022).

27. The threat of Fully Autonomous Weapons. URL: https://www.stopkillerrobots.org/learn/ (дата обращения: 10.01.2022).

28. Vignard K. Manifestos and open letters: Back to the future? URL: https://thebulletin.org/2018/04/manifestos- and-open-letters-back-to-the-future/ (дата обращения: 10.01.2022).

Размещено на Allbest.ru