Уголовно-правовые и криминологические аспекты применения робототехники

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Уголовно-правовые и криминологические аспекты применения робототехники

И.Р. Бегишев, канд. юрид. наук, заслуженный юрист Республики Татарстан Казанский инновационный университет им. В.Г. Тимирясова (ИЭУП)

В статье с позиций целей правотворчества и правоприменения рассматриваются понятийно-категориальный аппарат робототехники, ее уголовно-правовое значение, криминологические риски, связанные с робототехникой, а также вопросы общей теории квалификации преступлений, которые могут быть совершены с использованием робототехники. Предложено признавать общественно опасные деяния, совершенные с использованием робототехники, преступлениями, совершенными общеопасным способом, при наличии к тому оснований. Сделан вывод, что совершение деяний с использованием робототехники способно в определенных случаях создавать множественность преступлений в виде реальной совокупности. Обосновано расширение полномочий органов государственной охраны, которые могут осуществлять функции по выработке государственной политики, нормативно-правовому регулированию, контролю и надзору в сфере робототехники. Проанализированы непосредственные и опосредованные криминологические риски применения робототехники, а также обсуждены вопросы ответственности производителя (разработчика) и (или) владельца (пользователя) робототехники за деяния, совершенные с ее участием.

Ключевые слова: робототехника, цифровые технологии, правовое регулирование, уголовная ответственность, криминология, криминологический риск, робот, искусственный интеллект, источник повышенной опасности, цифровая экономика, беспилотные транспортные средства.

I.R. Begishev, Candidate of Juridical Sciences, Honored Lawyer of the Republic of Tatarstan. Kazan Innovative University named after V.G. Timiryasov (IEML)

CRIMINAL LEGAL AND CRIMINOLOGICAL ASPECTS APPLICATIONS OF ROBOTICS

Искусственный интеллект является одним из трендовых направлений, которым охвачены все развитые государства мира. Так, более 40 стран в мире разработали национальные стратегии развития искусственного интеллекта и робототехники, Российская Федерация не является исключением. По оценкам международных экспертов, инвестиции в технологии искусственного интеллекта и робототехники выросли за последние три года втрое и составили около 40 млрд. долларов США, в свою очередь, российские компании в 2019 г. инвестировали 172,5 млн. долларов США в развитие этих цифровых технологий.

Утверждение 19 августа 2020 г. распоряжением Правительства Российской Федерации Концепции развития регулирования отношений в сфере технологии искусственного интеллекта и робототехники до 2024 года [18] ознаменовало новый этап в регулировании сквозных цифровых технологий на территории России. Принятие Концепции наряду с Национальной стратегией развития искусственного интеллекта до 2030 года стало подтверждением признания российским обществом и правительством серьезных вызовов и угроз, которые возникли и продолжают расти с развитием технологий искусственного интеллекта и робототехники. Это, в свою очередь, ставит серьезные вызовы перед правом в целом. Согласно концепции, к 2024 г. в России планируется разработать и принять нормативные акты, создающие комфортную регуляторную среду для развития соответствующих технологий.

Робототехника как во всём мире, так, в частности, и в России напрямую коррелирует не только с внедрением и использованием цифровых технологий в производстве, но и открывает новые возможности для распространения угроз правопорядку и национальной безопасности. Прогресс цифровых технологий на порядок стремительнее, чем реакция законодательства и превенции со стороны правоохранительных органов.

Особым преимуществом для совершения уголовно наказуемых деяний с применением робототехники, на наш взгляд, выступает триада причин, среди которых:

- простота и легкость использования робототехнических устройств;

- анонимность или же отсутствие физического контакта субъекта и орудия преступления - робота;

- скорость внедрения и эксплуатации робототехнических устройств.

Почему мы выделяем скорость? В ответе на этот вопрос мы, пожалуй, сошлёмся на профессионала своего дела, самую «media-person» в сфере робототехники - Илона Маска - основателя и главу компании Tesla: «Скорость - совершенное оружие. И я имею в виду отнюдь не скорость своих машин. Речь идёт о скорости роботов и скорости их создания и обновления» [15]. В данной связи трудно не согласиться с таким мнением, поскольку сейчас уже никого не впечатляют роботы-пылесосы и мойщики окон, т.к. на передовой план выходит создание абсолютно антропоморфных или же с физиологической точки зрения человекообразных роботов.

Проблема уголовно-правового регулирования отношений в сфере робототехники как в зарубежных странах, так и в Российской Федерации на данный момент остаётся неразрешённой. В связи с этим необходимо выработать комплекс мер по превенции отрицательных, общественно опасных проявлений применения робототехники и норм, регламентирующих государственное реагирование на них.

Исходя из вышеизложенного, считаем необходимым обозначить следующие проблемы в данной области: имеются ли механизмы правового регулирования робототехники [2].

Проанализируем попытки законодательного урегулирования вопросов робототехники. уголовный преступление робототехника

Писатели-фантасты и различные учёные еще с прошлого века осуществляли попытки «прописать законы деятельности» робототехники. Наиболее известными из них являются А. Азимов со своими «тремя законами робототехники» [27], один из руководителей всемирно известной компании Microsoft С. Наделла и её «десять законов искусственного интеллекта» [30] и, собственно, К. Чапек - создатель слова «робот» [31]. С точки зрения последнего, например, взаимоотношения человечества и робототехники должны будут регулироваться некой международной судебной организацией, в равной степени признающей субъектом права и робота, и человека.

Их идеи, многие из которых дискуссионные, очень важны для понимания проблемы, однако не получили юридического развития. А социальная действительность, в частности сфера робототехники, нуждается в регулировании, в т.ч. уголовно-правовом.

Предпринимались также попытки саморегулирования со стороны ученых, которые непосредственно связаны с созданием робототехники. Так, в 2017 г., когда уже стало очевидно, что вопрос требует нормативно-правового регулирования, почти четырьмя тысячами ученых в данной области были подписаны так называемые «Двадцать три Азиломарских принципа» [26] Международного института будущих поколений, среди которых, к примеру, следующие: польза, управляемость, надежность, отказ от «гонки вооружений» с помощью робототехники, безопасность для окружающих и этическая ответственность создателя.

Никакого нормативного содержания данная концепция принципов, разумеется, не несёт, однако это всё же похвальная попытка создателей робототехники выработать общие подходы, а также привлечь внимание со стороны органов государственной власти к необходимости регулирования данных вопросов. В результате началось пусть и броуновское, но движение со стороны различных государств к нормативно-правовому осмыслению новых феноменов.

В том же году сразу в четырёх государствах появляются законопроекты, посвященные рассматриваемой проблематике. Лидерами стали Российская Федерация, Китайская Народная Республика, Федеративная Республика Германия и Республика Эстония. Последняя, на наш взгляд, весьма поспешно решила стать пионером в данной области и получила горький опыт, легализовав правила «О передвижении роботов-курьеров» [9]. В итоге довольно скоро прибалтийским полицейским пришлось выявлять и пресекать деятельность роботов-наркокурьеров.

Среди международных организаций первым в начале 2018 г. к разработке проекта «О робототехнике и искусственном интеллекте» приступил совещательный орган Европейского Союза - Европейский парламент, который уже через пару месяцев принял соответствующую Резолюцию [32].

Правосубъектность данного органа носит весьма специфический характер, т.к., несмотря на употребление слова «парламент» в наименовании, его акты носят всегда рекомендательный характер, поскольку нормотворческими правомочиями обладает лишь Европейская комиссия, которая никак не отреагировала на данную Резолюцию, сославшись на то, что это исключительная компетенция государств - членов Европейского Союза.

Наиболее же приемлемым с правотворческой и правоприменительной точки зрения для Российской Федерации, пусть и с определёнными оговорками, выступают две инициативы в данной сфере. Во-первых, это проект федерального закона, подготовленный Д.С. Гришиным, основателем GrishinRobotics, одним из руководителей компании Mail.RuGroup[8], во-вторых, это «Модельная конвенция о робототехнике и искусственном интеллекте» [13, 14].

Основой данных разработок были сформулированные еще в прошлом веке три «закона-принципа» робототехники А. Азимова:

«1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам» [27].

Исходя из анализа данных предложений, мы видим, что их авторы предлагают следующее - создание на базе трёх названных правил новых, касающихся взаимодействия роботов и робототехники с другими объектами и субъектами.

Сравнивая животного и робототехнику, они указывают на возможность совершать последней определённые самостоятельные действия, декларируют создание Единого государственного реестра робототехники, применение норм юридической ответственности к владельцу и (или) пользователю источника повышенной опасности в случае деликта от робототехники. Однако при этом дискуссионным является вопрос, по какому критерию будет относиться та или иная робототехника к источникам повышенной опасности.

Авторы выделяют следующие формы возможных вариантов деятельности робототехники, которые представляются общественно опасными:

- конструирование робота-убийцы специально для совершения правонарушения;

- отключение программных и аппаратных функций, блокирующих возможность причинения вреда человеку;

- конструирование робота, способного причинить вред человеку;

- конструирование робота без осознания того, что он может быть использован для причинения вреда человеку [19].

Кроме того, считаем важным также отметить, что некоторые вопросы, касающиеся нормативного регулирования робототехнических устройств, уже разрешаются на государственном уровне [17].

Так, частный пример роботов - беспилотные летательные аппараты (далее - БПЛА) и беспилотные воздушные судна (далее - БПВС) уже регулируются законодательно, что не может не радовать. Так, к примеру, в случае нарушения правил использования БПЛА и БПВС предусматривается административная ответственность, а в случаях фото- и видеосъемки с помощью указанных робототехнических устройств можно стать обвиняемым по делам о государственной измене и т.п. Однако это всего лишь первый шаг в рамках уголовно-правового регулирования аспектов применения беспилотных транспортных средств (робомобилей) (далее - БПТС) [11, 12, 24, 25].

Считаем необходимым также отметить, что вопрос о внесении изменений в законодательство по рассматриваемой проблематике уже назрел. Необходимо более детальное и глубокое нормативное регулирование вопроса, чем это сделано в уже существующих нормативно-правовых актах и их проектах. С инженерно-технической точки зрения следует отработать метрики и стандарты для определения уровня интеллектуализации робототехники.

С правовой точки зрения, в т.ч. с уголовно-правовой, необходимо проработать целый ряд вопросов, среди которых наиболее важными представляются следующие:

- понятийно-категориальный аппарат робототехники;

- механизм разрешения вопросов ответственности за совершение общественно опасных деяний с использованием робототехники;

- криминологические риски применения робототехники;

- выявление, пресечение, раскрытие и профилактика общественно опасных деяний, связанных с робототехникой;

- выявление и установление лиц, совершивших или подготавливающих данные деяния.

Применительно к терминологическому аппарату предлагаем внести изменения в международный стандарт ISO8373:2012 «Robots and robotic devices - Vocabulary» [35] и принятый в соответствии с ним национальный стандарт Российской Федерации ГОСТ Р 60.0.0.4-2019/ИСО 8373 2012 «Роботы и робототехнические устройства. Термины и определения» [6]: заменить понятия «робот» и «робототехнические устройства» одной более объемлющей категорией «робототехника».

Использование общей категории для обозначения указанного перечня механизмов представляется полезным для юриспруденции, поскольку четко определяет сферу необходимого правового регулирования, которая характеризуется определенной обособленностью и автономностью. Востребована она, на наш взгляд, будет и в криминологии, поскольку способна обособить сегмент преступности, обладающей большой спецификой. Кроме того, вышеназванные стандарты были введены в действие в 2012 г. и изменялись лишь однажды - в 2016 г., хотя наиболее интенсивный пик развития робототехники начался с 2017 г. Исходя из этого, несложно понять, что сфера робототехники «ушла» далеко вперед указанных стандартов.

Относительно правовой ответственности и вопросов, связанных с деликтоспособностью робототехники, существуют два подхода: объективно вмененная ответственность и подход риск-менеджмента [21].

На наш взгляд, подобного рода подходы, связанные с отходом от классической отечественной системы признания робототехники и искусственного интеллекта субъектом права, и попытки наделить данные феномены правосубъектностью в ближайшее время не имеют перспектив практической реализации [4, 5, 20, 22, 23, 29, 33, 34, 36-40].

Актуализация вопросов, связанных с уголовной ответственностью за совершение общественно опасных деяний с применением робототехники, к сожалению, коррелирует с уже существующей реальной практикой причинения вреда обществу. Первым примером стал наезд на женщину БПТС компании UBER в начале 2018 г. в Соединённых Штатах Америки [28]. Среди самого массового использования робототехники для совершения преступлений как по количеству единиц, так и по нанесённому вреду является пример использования БПЛА и БПВС незаконными вооруженными формированиями Йеменской Республики для массовой бомбардировки нефтеперерабатывающих заводов - стратегических и критически важных объектов Королевства Саудовская Аравия [1].

Данный пример показывает, как и каким образом при минимальных затратах преступник может получить максимально выгодный для себя эффект. В рассматриваемом примере всё нефтяное производство Королевства Саудовская Аравия, являющееся для него стратегически важным, бюджетообразующим, на неделю сократилось вполовину. Кроме того, данная атака причинила ущерб и другим объектам: были человеческие жертвы, иные материальные потери.

Согласимся также с опасением, высказанным директором ФСБ России А.В. Бортниковым, заключающимся в том, что международные террористические и иные экстремистские организации в ближайшем будущем станут более интенсивно использовать робототехнику для осуществления своих целей [7].

Существенные опасности создают и следующие способы сравнительно примитивного использования робототехники:

- применение БПТС для осуществления террористического акта - наезда на пешеходов в местах массового скопления людей путём изначального программирования на это, к примеру, автомобиля;

- нарушение информационной и иной инфраструктуры;

- применение уже существующих антропоморфных роботов, приобретенных как легально, так и на черном рынке;

- использование военных либо переоборудованных из гражданских в военные экзоскелетов;

- иные случаи неправомерного использования робототехники.

Исходя из вышеуказанных примеров, стоит признать, что робототехника является весьма специфичным орудием совершения преступлений. Поскольку робототехника признается источником повышенной опасности [16], считаем необходимым признавать общественно опасные деяния, совершенные с использованием робототехники, преступлениями, совершенными общеопасным способом. Такой подход напрямую будет влиять на квалификацию преступлений, к примеру, по ч. 2 ст. 105 УК РФ, в которой указанный способ прямо назван в диспозиции в качестве квалифицирующего признака деяния.

В случае же отсутствия указания в норме такого способа предлагаем при назначении наказания судом за умышленные преступления, совершенные с использованием робототехники, учитывать это обстоятельство как отягчающий признак по п. «к» ч. 1 ст. 63 УК РФ: «совершение преступления с использованием специально изготовленных технических средств» [3], вне зависимости от того, кем и когда робототехника была создана.

С учетом того факта, что в робототехнике используются цифровые технологии, за определенные манипуляции с ней возможно наступление ответственности по ст. 274 и 274.1 УК РФ [10].

Наличие в уголовном законе отдельных норм, предусматривающих ответственность за совершение преступлений в сфере компьютерной информации [3], на наш взгляд, не должно исключать возможности привлечения к уголовной ответственности за совершение общественно опасных деяний с применением робототехники, поскольку способны возникать ситуации, при которых налицо будет множественность преступлений в виде реальной совокупности.

Следует отметить, что с использованием возможностей робототехники может быть совершено множество преступлений:

- общественно опасные деяния, посягающие на жизнь и здоровье человека;

- общественно опасные деяния, посягающие на конституционные права и свободы человека и гражданина;

- общественно опасные деяния, посягающие на общественные отношения, охраняющие сферу экономики от преступных посягательств;

- общественно опасные деяния, посягающие на государственную власть, службу и их интересы;

- общественно опасные деяния, посягающие на общественную безопасность и общественный порядок;

- общественно опасные деяния, посягающие на основы конституционного строя и безопасность государства и т.д.

При решении вопроса, кто должен нести ответственность за вред, причиненный с применением робототехники, полагаем, однозначно производитель (разработчик) и (или) владелец (пользователь) робототехники будут нести ответственность, разумеется, исключительно в случаях субъективного вменения им вины.

Базисом разрешения данных вопросов думается, будет расширение полномочий Федеральной службы охраны Российской Федерации, а именно такого ее подразделения, как Служба специальной связи и информации (далее - Спецсвязь ФСО России), которая будет также осуществлять функции по выработке государственной политики, нормативно-правовому регулированию, контролю и надзору в сфере робототехники и т.д. [2]. Данное положение мы аргументируем тем, что в практике зарубежных стран, например в Соединённых Штатах Америки, уже широко применяется правило о контроле и регулировании вопросов, связанных с робототехникой и искусственным интеллектом. Поскольку ФСО России и АНБ США, занимающиеся защитой электронных информационно-телекоммуникационных сетей, - весьма идентичные с общефункциональной точки зрения органы, считаем, что и в Российской Федерации регулирование таких отношений со стороны Спецсвязи ФСО России будет полностью оправданно.

Проанализировав тенденции в сфере создания и использования робототехники, мы пришли к выводу, что необходимо выделение двух имманентно присущих данной деятельности криминологических рисков - непосредственный (прямой) и опосредованный (косвенный) [2].

Непосредственный криминологический риск применения робототехники - риск, непосредственно коррелирующий с действием на человека и гражданина той или иной опасности, вызванной применением робототехники.

К таким рискам можно отнести:

- умышленное совершение робототехническим устройством общественно опасного посягательства на жизнь и здоровье человека; свободу, честь и достоинство личности; конституционные права и свободы человека и гражданина; общественную безопасность; мир и безопасность человечества, повлекшего общественно опасные последствия, а также иные общественные отношения, охраняемые уголовным законом от преступных посягательств;

- умышленные действия с программным обеспечением, являющимся составной и неотъемлемой частью использования робототехнического устройства, повлекшие общественно опасные последствия.

Опосредованный криминологический риск применения робототехники - риск, связанный с непреднамеренными опасностями в контексте применения робототехнических устройств.

К таким рискам можно отнести:

- случайные ошибки в программном обеспечении робототехнического устройства (ошибки, допущенные производителем (разработчиком) робототехники);

- ошибки, совершенные робототехническим устройством в процессе его функционирования (ошибки, допущенные робототехникой).

Исходя из изложенного, подтверждается выдвинутый рядом ученых тезис о существовании высоких криминологических рисков применения робототехники, заключающихся как в самой интеллектуальной технологии, так и в слабой теоретической разработанности вопроса как в целом в юриспруденции, так и в науках криминального цикла [2].

Подводя итог проведенному исследованию, сформулируем его основные выводы.

Выделены перспективные направления правовых исследований, связанных с робототехникой, и соответствующего правового регулирования.

Обосновано и предложено определение робототехники как всех категорий роботов в самом широком их понимании независимо от назначения, степени опасности, мобильности или автономности, а также киберфизических систем с искусственным интеллектом в любой форме, независимо от наличия указания в наименовании понятия «робот» и смежных с ним. Использование этой категории представляется полезным для юриспруденции, поскольку она четко определяет специфическую сферу необходимого правового регулирования. Востребована она, на наш взгляд, будет и в криминологии, поскольку способна выделить обособленный сегмент преступности.

Предложено признавать общественно опасные деяния, совершенные с использованием робототехники, преступлениями, совершенными общеопасным способом, при наличии к тому оснований.

Сделан вывод, что совершение деяний с использованием робототехники способно в определенных случаях создавать множественность преступлений в виде реальной совокупности.

Обосновано расширение полномочий Спецсвязи ФСО России, которая может осуществлять функции по выработке государственной политики, нормативно-правовому регулированию, контролю и надзору в сфере робототехники.

Проанализированы непосредственные и опосредованные криминологические риски применения робототехники, а также обсуждены вопросы ответственности производителя (разработчика) и (или) владельца (пользователя) робототехники за деяния, совершенные с ее участием.

Вместе с тем считаем важным отметить, что иные правовые аспекты регламентации вопросов робототехники, такие как вопросы выявления, пресечения, раскрытия и профилактики общественно опасных деяний, связанных с робототехникой, а также выявления и установления лиц, совершивших или подготавливающих данные деяния, образуют новую модель правового регулирования общественных отношений в рассматриваемой области, а также обогащают с теоретической и практической точек зрения науки криминального цикла: уголовного права, криминологии, оперативно-розыскной деятельности, криминалистики, прокурорского надзора, уголовно-исполнительного права и уголовного процесса.

1. Атака на нефтяные объекты в Саудовской Аравии: что нам известно. URL: https://www.bbc.com/russian/ news-49709610.

2. Бегишев И.Р., Хисамова З.И. Криминологические риски применения искусственного интеллекта // Всероссийский криминологический журнал. 2018. Т. 12. № 6. C. 767-775.

3. Бегишев И.Р., Бикеев И.И. Преступления в сфере обращения цифровой информации. Казань: Изд-во «Познание» Казанского инновационного университета, 2020. 300 с.

4. Бегишев И.Р., Латыпова Э.Ю., Кирпичников Д.В. Искусственный интеллект как правовая категория: доктринальный подход к разработке дефиниции // Актуальные проблемы экономики и права. 2020. Т. 14. № 1. С. 79-91.

5. Бегишев И.Р., Хисамова З.И. Искусственный интеллект и робототехника: теоретико-правовые проблемы разграничения понятийного аппарата // Вестник Удмуртского университета. Серия: Экономика и право. 2020. Т. 30. № 5. С. 55-65.

6. ГОСТ Р 60.0.0.4-2019/ИСО 8373:2012 «Роботы и робототехнические устройства. Термины и определения»: приказ Федерального агентства по техническому регулированию и метрологии от 14 февраля 2019 г. № 31-ст «Об утверждении национального стандарта Российской Федерации». Текст приказа официально опубликован не был.

7. Егоров И. Атаки в сети и наяву // Российская газета. 2018. № 279 (7742).

8. Закон «Гришина». URL: https://robopravo.m/uploads/s/z/6/g/z6gj0wkwhv1o/file/My74kFFZ.pdf.

9. Закон о роботах-курьерах. Закон Эстонии о внесении изменений в Закон о дорожном движении. URL: https://robopravo.ru/estonskii_zakon_o_robotakhkurierakh.

10. Ибрагимов Р., Сурагина Е. Право машин. Как привлечь робота к ответственности // Корпоративный юрист. 2017. № 11. С. 10-17.

11. Коробеев А.И., Чучаев А.И. Беспилотные транспортные средства, оснащённые системами искусственного интеллекта: проблемы правового регулирования // Азиатско-тихоокеанский регион: экономика, политика, право. 2018. Т. 20. № 3. С. 117-132.

12. Коробеев А.И., Чучаев А.И. Нарушение безопасности робомобилей как самостоятельное общественно опасное деяние // Уголовное право. 2019. № 3. С. 37-48.

13. Модельная конвенция. URL: https://robopravo.m/uploads/s/z/6/g/z6gj0wkwhv1o/file/phjic35g.pdf.

14. Наумов В.Б., Незнамов А.В. Модельная конвенция о робототехнике и искусственном интеллекте. Правила создания и использования роботов и искусственного интеллекта // Право и информация: вопросы теории и практики. Серия: Электронное законодательство: сборник мат-лов VII международной научно-практ. конф- ции. 2017. С. 210-220.

15. Незнамов А. Законы робототехники. Как регулировать искусственный интеллект // Forbes. URL: https:// www.forbes.ru/tehnologii/355757-zakony-robototehniki-kak-regulirovat-iskusstvennyy-intenekt.

16. О применении судами гражданского законодательства, регулирующего отношения по обязательствам вследствие причинения вреда жизни или здоровью гражданина: постановление Пленума Верховного Суда Российской Федерации от 26 января 2010 г. № 1 // Российская газета. 2010. № 24.

17. Об утверждении Правил учёта беспилотных гражданских воздушных судов с максимальной взлётной массой от 0.25 килограмма до 30 килограммов, ввезенных в Российскую Федерацию или произведенных в Российской Федерации: постановление Правительства Российской Федерации от 25 мая 2019 г. № 658 // Собрание законодательства РФ. 2019. № 22. Ст. 2824.

18. Об утверждении Концепции развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники на период до 2024 г.: распоряжение Правительства Российской Федерации от 19 августа 2020 г. № 2129-р. URL: www.pravo.gov.ru (дата обращения: 26.08.2020).

19. Сооснователь Mail.ru Group Дмитрий Гришин разработал концепцию закона о правовом статусе роботов. URL: https://geektimes.ru/post/283726/.

20. Хисамова З.И., Бегишев И.Р. Сущность искусственного интеллекта и проблема определения правосубъектности // Вестник Московского государственного областного университета. Серия: Юриспруденция. 2020. № 2. С. 96-106.

21. Хисамова З.И., Бегишев И.Р. Правовое регулирование искусственного интеллекта // Baikal Research Journal. 2019. Т. 10. № 2. URL: https://elibrary.ru/item.asp?id=41225753.

22. Хисамова З.И., Бегишев И.Р. Уголовная ответственность и искусственный интеллект: теоретические и прикладные аспекты // Всероссийский криминологический журнал. 2019. Т. 13. № 4. С. 564-574.

23. Цуканова Е.Ю., Скопенко О.Р. Правовые аспекты ответственности за причинение вреда роботом с искусственным интеллектом // Вопросы российского и международного права. 2018. Т. 8. № 4А. С. 42-48.

24. Чучаев А.И. Робомобили и безопасность личности: уголовно-правовые проблемы // Криминалистъ. 2019. № 1 (26). С. 94-98.

25. Чучаев А.И., Маликов С.В. Ответственность за причинение ущерба высокоавтоматизированным транспортным средством: состояние и перспективы // Актуальные проблемы российского права. 2019. № 6 (103). С. 117-124.

26. Asilomar AI Principles. URL: https://futureoflife.org/ai-principles.

27. Asimov I. Runaround // Astounding Science Fiction. New York, 1942. 180 p.

28. Bergen M., Newcomer Е. Uber Halts Autonomous Car Tests After Fatal Crash in Arizona // Bloomberg. URL: https://www.bloomberg.com/news/articles/2018-03-19/uber-autonomous-car-involved-in-fatal-crash-in-arizona.

29. Bikeev I.I., Kabanov P.A., Begishev I.R., Khisamova Z.I. Criminological Risks and Legal Aspects of Artificial Intelligence Implementation // In Proceedings of the International Conference on Artificial Intelligence, Information Processing and Cloud Computing (AIIPCC'19). New York: Association for Computing Machinery, 2019. Art. 20. P. 1-7.

30. Boyle A. Microsoft CEO Satya Nadella lays out 10 Laws of AI (and Human Behavior) // GeekWire. URL: https://www.geekwire.com/2016/microsoft-ceo-satya-nadella-10-laws-ai.

31. Capek K. R.U.R. Rossums Universal Robots. Praga, 1920. 120 p.

32. European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). URL: https://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ EN.html.

33. Hallevy G. Liability for Crimes Involving Artificial Intelligence Systems. Springer International Publishing, 2015.257 p.

34. Hallevy G. The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control // Akron Intellectual Property Journal. 2010. Vol. 4. Iss. 2. P. 171-201.

35. ISO 8373:2012. Robots and robotic devices - Vocabulary. URL: https://www.iso.org/standard/55890.html.

36. Khisamova Z.I., Begishev I.R., Gaifutdinov R.R. On Methods to Legal Regulation of Artificial Intelligence in the World // International Journal of Innovative Technology and Exploring Engineering. 2019. Vol. 9. № 1. P. 51595162.

37. Khisamova Z.I., Begishev I.R., Sidorenko E.L. Artificial Intelligence and Problems of Ensuring Cyber Security // International Journal of Cyber Criminology. 2019. Vol. 13. № 2. P. 564-577.

38. Simmler M. Maschinenethik und strafrechtliche Verantwortlichkeit. In: Bendel O. (eds) Handbuch Maschinenethik. Springer Reference Geisteswissenschaften. Wiesbaden, 2019. P. 1-18.

39. Simmler М., Markwalder N. Guilty Robots? - Rethinking the Nature of Culpability and Legal Personhood in an Age of Artificial Intelligence // Criminal Law Forum. 2019. Vol. 30. № 1. P. 1-31.

40. Sukhodolov A.P., Bychkov A.V., Bychkova A.M. Criminal Policy for Crimes Committed Using Artificial Intelligence Technologies: State, Problems, Prospects // Journal of Siberian Federal University. Humanities & Social Sciences. 2020. Vol. 13. № 1. P. 116-122.