Искусственный интеллект, робототехника и защита прав человека в Европейском Союзе
Анализ правовых проблем, связанных с защитой прав и свобод человека при разработке и применении систем искусственного интеллекта в Европейском Союзе. Нормы международного права и права Европейского Союза, направленные на решение проблем прав человека.
Рубрика | Государство и право |
Вид | статья |
Язык | русский |
Дата добавления | 24.05.2022 |
Размер файла | 60,2 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
Кафедра интеграционного и европейского права
Университета имени О.Е. Кутафина (МГЮА)
Искусственный интеллект, робототехника и защита прав человека в Европейском Союзе
Сергей Юрьевич Кашкин,
доктор юридических наук, профессор
Александр Владимирович Покровский,
аспирант
Аннотация
Целью статьи является анализ правовых проблем, связанных с защитой прав и свобод человека при разработке и применении систем искусственного интеллекта в Европейском Союзе. Предметом статьи выступают нормы международного права и права Европейского Союза, направленные на решение указанных проблем. Статья написана с использованием общенаучных, философских и специальных юридических методов познания, в частности формально-юридического, сравнительно-правового, аналитического методов и системного подхода. Приведенный в статье анализ системы гарантий защиты прав и свобод человека в Европейском Союзе при внедрении и использовании систем искусственного интеллекта осуществляется в российской юридической науке впервые. На основе анализа действующих правовых норм исследованы возможные угрозы нарушения прав и свобод человека в Европейском Союзе при применении систем искусственного интеллекта. Рассмотрены подход к обеспечению системы гарантий прав и свобод человека в ЕС; роль институтов, органов и учреждений Европейского Союза в данном процессе, в частности роль Европейского омбудсмена. Гарантии прав и свобод человека рассмотрены через призму концепции «хорошего управления». Предлагаются пути обеспечения гарантий прав человека при введении в оборот технологий искусственного интеллекта и раскрываются области в указанной сфере, требующие изменений в правовом регулировании. Положения, сформулированные в настоящей статье, могут быть использованы для осуществления дальнейших исследований по вопросам, связанным с развитием и использованием искусственного интеллекта, а также для совершенствования правовой базы в данной области.
Ключевые слова: Европейский Союз, искусственный интеллект, робототехника, Европейский омбудсмен, права человека, защита прав, нарушение порядка управления.
ARTIFICIAL INTELLIGENCE, ROBOTICS AND THE PROTECTION OF HUMAN RIGHTS IN THE EUROPEAN UNION
S.Y. Kashkin,
Chief of the Chair of Integration and European Law of the Kutafin Moscow State Law University (MSAL), doctor of law, professor
A.V. Pokrovsky,
postgraduate, Integration and European Law Department, Kutafin Moscow State Law University (MSAL) Russia, Moscow
Abstract
The aim of the article is to analyse the legal problems associated with the protection of human rights and freedoms in the development and use of artificial intelligence systems in the European Union. Scope of the study are the norms of international law and European Union law, aimed at solving these problems. The article is written using general scientific, philosophical and special legal methods of cognition, in particular, formal-legal comparative-legal, analytical methods and systematic approach. The analysis of the system of guarantees of the protection of human rights and freedoms in the European Union related to the development and use of artificial intelligence systems, given in the article, is carried out for the first time in Russian legal science. Based on the analysis of the existing legal norms, the article examines possible threats of the violation of human rights and freedoms in the European Union when using artificial intelligence systems. The article gives the approach to ensuring the system of guarantees of human rights and freedoms in the EU. The role of the institutions, bodies and offices of the European Union in this process, in particular, the role of the European Ombudsman, is considered. The guarantees of human rights and freedoms are given through the prism of the concept of «good governance». Based on the results, the article gives possible ways of ensuring human rights guarantees in connection with the circulation of artificial intelligence technologies and reveals the areas which require changes in legal regulation. The provisions formulated in this article can be used to carry out further research on issues related to the development and use of artificial intelligence, as well as to improve the legal framework in this area.
Keywords: European Union, artificial intelligence, robotics, European ombudsman, human rights, protection of rights, maladministration.
Введение
С появлением государства и права права человека всегда были самым эффективным мотиватором поведения людей и способом управления ими, средством государственного управления обществом. Это осталось удобным инструментом и для интеграционных организаций, в частности в их признанной модели -- Европейском Союзе.
И если весь набор прав и свобод человека и не был обозначен в момент создания ЕС, точнее ЕОУС, то он имманентно присутствовал еще в коммунитарной идее Монне-Шумана 1950 г, в том, что государства объединяются на основе неотъемлемых интересов составляющих союз государств и народов, которые состоят из граждан, а следовательно, из интересов людей тоже. В свою очередь, интеграцию следует осуществлять поэтапно -- и на каждом этапе должно происходить улучшение положения граждан.
Это два главных условия интеграции, позволяющие соединить интересы государства с интересами каждой отдельной личности. Опора на интересы граждан и способность соединить их с интересами государства усиливают внутригосударственную интегрированность, что дает в результате и усиление межгосударственной интеграции. Такая взаимосвязь внутригосударственной интеграции и интеграции международной имеет чрезвычайно большое значение, особенно для федеративных государств, к которым относится Российская Федерация.
При этом само предоставление прав гражданам началось не с законодательного закрепления их в учредительных договорах, а с практической деятельности Суда Европейских сообществ. Сначала это были типичные для философии государства всеобщего благоденствия права, а потом они стали расширяться и получили в Хартии Европейского Союза об основных правах 2000 г. самый современный и привлекательный перечень. Его можно рассматривать как своеобразную правовую идеологическую витрину европейской демократии.
С развалом СССР многие социальные права и социалистические достижения были успешно заимствованы европейским правом и практикой, а идеологическая борьба по вопросам прав и свобод человека и гражданина была формально завершена в пользу западной демократии.
Сегодня, в условиях шестого научно-технологического уклада, происходит всеобъемлющая кардинальная смена миропорядка, в котором меняются экономика, политика, право, идеология, ценности и даже сама человеческая личность, не говоря уж о правах человека.
Возможности эффективного применения искусственного интеллекта (далее -- ИИ) и робототехники делают количество человеческого материала, необходимого для обеспечения потребностей новой роботизированной экономики, основанной на искусственном интеллекте, избыточным. Поэтому неудивительно, что профессор Фукуяма недавно отметил в качестве общей тенденции развития современного общества падение интереса к демократии и бюрократизацию внутренней жизни Данилов И. Фукуяма раскрыл секрет Путина и Трампа // РИА новости 17.09.2018. 11Р1_: 1"|1^://па/ги/апа1у1:^/2018 09 18//15 286 75757.html..
Борьба за права многочисленных сексуальных и других меньшинств подменяет сегодня заботу о правах человека, демократии, одновременно способствуя и сокращению «ненужного» населения. «Уже более 20 лет Запад вмешивается в дела многих стран под предлогом прав человека. Усиление авторитаризма в многополярном мире, а также недовольство и агрессия по отношению к Западу ставят под сомнение модель глобализации прав человека, о которой мечтали на рубеже веков» Александр дель Валль. Почему либеральная демократия сдает позиции // URL: https:inosmi.ru/politic/20160328/235889927.html..
На пути в будущее, как на картине Васнецова «Три богатыря», мир стоит перед выбором: чьи интересы должны быть основополагающими? Государства, общества или человека?
Традиционные «государственники», естественно, считают главным актором будущего государство и его интересы.
Коммунисты (например, проект С. Глазьева) Глазьев С. Стратегия опережающего развития России в условиях глобального кризиса. М. : Экономика. 2010. в качестве основной цели России в ближайшем будущем видят направленность новой «управляемой рыночной экономики» на рост общественного благополучия, т.е. общество и его интересы как главную ценность.
Исследователи искусственного интеллекта и законодательства в этой сфере уверенно ставят на первое место человека, личность, его сознание, индивидуальность и защищенность, в том числе и от искусственного интеллекта и робототехники. Мы -- сторонники учета примата интересов человеческой личности в развитии прав человека, ибо, только сохранив личность человека, можно создать для людей достойное общество. Интегрировать и соединять интересы человека и общества в будущем призвано справедливое государство с «человеческим лицом».
правовой искусственный интеллект
1. Правовые проблемы искусственного интеллекта и права граждан ЕС
В Европейском Союзе проект в области искусственного интеллекта, ставший реальным шагом к созданию общей платформы ИИ для всей Европы, стартовал с 1 января 2019 г Проект AI4EU, лидером которого стала французская компания «Thales», объединил 79 ведущих исследовательских институтов, предприятий малого, среднего и крупного бизнеса из 21 страны и получил финансирование в сумме 20 млн евро на следующие три года. На проекты в сфере робототехники, призванные помочь малым и средним предприятиям в применении новых цифровых технологий и ИИ, Европейская комиссия в декабре 2018 г приняла решение направить 66 млн евро. Объединение достижений и инвестиций в сфере искусственного интеллекта является продолжением и развитием более общей Стратегии единого цифрового рынка для Европы. Она одобрена Европейским Советом в 2015 г. Communication from the Commission COM(2015) 192 «A Digital Single Market Strategy for Europe». По ожиданиям Европейской комиссии, создание единого цифрового рынка мо-
жет привнести в экономику ЕС 415 млрд евро в год и создать сотни тысяч новых рабочих мест (URL: https://ec.europa.eu). и включена в перечень десяти приоритетных направлений деятельности Европейской комиссии Jean-Claude Juncker. A New Start for Europe: My Agenda for Jobs, Growth, Fairness and Democratic Change. Political Guidelines for the next European Commission.
Основные приоритеты устанавливаются Президентом Европейской комиссии в рамках его мандата каждые пять лет. Продолжение работы по вопросу искусственного интеллекта по-средством совместных действий на территории всего Европейского Союза предусмотрено также Рабочей программой Европейской комиссии на 2019 год // URL: https://ec.europa.eu..
Европейский Союз высоко оценивает степень важности как возможностей, открывающихся в связи с появлением искусственного интеллекта в человеческой жизни, так и вызовов, которые несет его использование В частности, Европейская комиссия в своем сообщении «Искусственный интеллект для Европы» констатирует: «Как паровой двигатель или электричество в прошлом, ИИ пре-образует наш мир, наше общество и нашу промышленность» (Communication COM(2018) 237 «Artificial Intelligence for Europe». P. 2).. Развитие и внедрение на государственном и тем более наднациональном и международном уровнях такого общественно значимого феномена, как искусственный интеллект, предполагает проведение тщательного и всестороннего анализа тех изменений, необходимость в которых возникает в связи с включением ИИ в различные сферы жизни общества, в том числе новелл в сфере нормативно-правового регулирования прав и свобод человека и гражданина.
Как искусственный интеллект и робототехника влияют на права и свободы граждан Европейского Союза?
Прежде всего -- это несомненный положительный эффект этих нововведений, который логичен, предсказуем и понятен. Если говорить в общем, то робототехника и связанные с ней технологии искусственного интеллекта могут помочь усовершенствовать возможности человека, что принесет пользу как человеку, так и обществу в целом.
Вот лишь небольшой перечень тех областей жизни, которые могут получить значимые качественные улучшения в результате разработки и освоения технологий ИИ:
-- охрана здоровья людей, профилактика и диагностирование заболеваний, выбор оптимальных форм и методов лечения, проведение хирургических операций;
-- обеспечение законности и общественного порядка, профилактика правонарушений (включая защиту границ, предотвращение террористических атак, розыск людей и транспортных средств);
-- охрана окружающей среды и рациональное природопользование, энергосбережение, прогнозирование природных процессов и явлений и воздействие на них (в том числе в сельскохозяйственных целях), действия в чрезвычайных ситуациях;
-- улучшение условий труда, снижение их опасности, вероятности появления профессиональных заболеваний и в целом облегчение труда в определенных областях, создание новых рабочих мест, сохранение или повышение трудоспособности людей с ограниченными возможностями;
-- транспортная безопасность, снижение смертности на дорогах, развитие возможностей для мобильности людей и грузов;
-- совершенствование механизмов государственного управления, взаимодействия государства и общества;
-- освоение новых рынков, совершенствование реализуемых товаров, работ и услуг.
Технологии ИИ также помогают человеку обучаться, расширять границы собственных знаний и навыков.
Внедрение цифровых технологий в человеческую жизнь, как отмечает Европейский Совет, «предлагает огромные возможности для инноваций, роста и создания рабочих мест, будет способствовать нашей глобальной конкурентоспособности и расширению творческого и культурного разнообразия» European Council conclusions of 19.10.2017 EUCO 14/17. P. 5 // URL: https://www.consilium. europa.eu..
Не будем в этой статье подробно останавливаться на раскрытии возможностей и выгод искусственного интеллекта, которые уже были описаны достаточно подробно, в том числе европейскими разработчиками Стратегии единого цифрового рынка.
А вот опасности и правовые проблемы, которые таит в себе их применение на практике, заслуживают более подробного анализа.
Так, военное применение искусственного интеллекта нарушает самое основное естественное и неотъемлемое право человека -- право на жизнь.
Право на жизнь закреплено в ст. 2 Хартии Европейского Союза об основных правах: «Каждый человек имеет право на жизнь». Реализация этого права предполагает активные действия Европейского Союза, государств-членов, их институтов, органов, учреждений и должностных лиц по созданию и поддержанию безопасных условий жизни на территории Союза.
В настоящее время искусственный интеллект развивается практически во всех сферах деятельности вооруженных сил многих государств. Это неудивительно, поскольку в истории известно много случаев, когда новейшие достижения науки брались в разработку и на вооружение (в прямом смысле) в первую очередь военными ведомствами.
Однако как будет сочетаться с правом человека на жизнь, закрепленным в Хартии Европейского Союза об основных правах, а также во Всеобщей декларации прав человека 1948 г., в Европейской конвенции о защите прав человека и основных свобод и практически во всех конституциях мира, право (возможность) юнита с искусственным интеллектом принимать решение о том, должно ли производиться уничтожение людей или объектов, в которых могут находиться люди (даже во время ведения боевых действий)? А если будут начаты боевые действия против людей, которые согласно нормам международного права являются мирным населением или не сражающимися участниками конфликта (некомбатантами)?
Кого нужно будет признавать субъектом ответственности в случае ошибки при принятии такого решения? Кто должен быть привлечен к ответственности, если юнит с искусственным интеллектом действовал без «опознавательных знаков» (например, не был зарегистрирован, не содержит информации о его владельце) или в результате утраты владельцем контроля над ним перешел под контроль злоумышленников (в том числе и посредством удаленного доступа)?
Уже сегодня становится реальностью имплантация киберфизических систем в тело человека. Европейский парламент в своем отчете от 27.01.2017 с рекомендациями для Европейской комиссии по гражданско-правовому регулированию робототехники обращает внимание на риск, связанный с возможностью взлома или отключения оперативных систем программирования, встроенных в организм человека, либо стирания их памяти, что может поставить под угрозу здоровье человека, а в особых случаях даже его жизнь European Parliament. Report A8-0005/2017 of 27.01.2017 with recommendations to the Com-mission on Civil Law Rules on Robotics (2015/2103(INL)). P. 15. О применении таких систем в России см., например, интервью с первым заместителем министра обороны РФ Р Х. Цаликовым на конференции «Искусственный интеллект: проблемы и пути решения» (URL: https://ria.ru/20180315/1516469827.html)..
С целью исключения вышеназванных негативных ситуаций возможно ли разработать и применять при производстве и эксплуатации технических устройств, оснащенных ИИ, определенные стандарты безопасности и обеспечить должный уровень контроля за действием этих устройств?
На все эти вопросы, в контексте развития технологий обретающие непосредственную связь с гарантиями права человека на жизнь, в законодательстве пока нет ответа, при этом разработка систем искусственного интеллекта в военных целях не только уже ведется, но и имеет результаты11.
Последствия использования юнитов искусственного интеллекта в государственном управлении изначально подрывают идею управления людей людьми на основе демократических процедур и принципов.
Применение основанных на искусственном интеллекте и робототехнике социальных рейтингов, уже используемых на практике в КНР, полностью отвергает принцип равенства граждан. Оно практически создает условия для возвращения общества в кастовое прошлое и управление на основе страха и насилия государства над бесправной оцифрованной личностью.
Демократические традиции государств -- членов ЕС имеют глубокие исторические корни. Главенствующее место в системе принципов права Европейского Союза занимают его ценности, содействие которым является одной из основополагающих целей ЕС. Статья 2 Договора о Европейском Союзе (далее ДЕС) гласит: «Союз основан на ценностях уважения человеческого достоинства, свободы, демократии, равенства, правового государства и соблюдения прав человека».
Упомянутые ценности отражают фундаментальные основы создания и функционирования ЕС. Именно они были положены в основу Хартии Европейского Союза об основных правах, входящей в состав учредительных договоров ЕС и являющейся источником права ЕС высшей юридической силы. Эти ценности, как указывается далее в ст. 2 ДЕС, «являются общими для государств-членов в рамках общества, характеризующегося плюрализмом, недискриминацией, терпимостью, справедливостью, солидарностью и равенством женщин и мужчин».
Отношение именно к этим ценностям Европейский Союз оценивает, рассматривая вопрос о возможности приема того или иного государства в члены ЕС.
Подход Европейского Союза к новым технологиям и к изменениям, которые они влекут, также базируется на его ценностях. Это провозглашает Европейская комиссия в своем сообщении «Искусственный интеллект для Европы» Communication COM(2018)237 «Artificial Intelligence for Europe». P. 3--4, 14.. Но если не предпринять своевременно комплекс технических, организационных и правовых мер, направленных на обеспечение верховенства общечеловеческих ценностей и фундаментальных прав при происходящих в сфере ИИ и робототехники изменениях, то существующая на сегодняшний день реальная угроза их умаления может обрести системный характер.
В результате внедрения искусственного интеллекта в сферу социального управления возникают не только проблемы морально-этического характера, связанные с подменой «человеческого» управления управлением, основанным на принятии решений машиной. Применение юнитов искусственного интеллекта в управлении людьми в силу отсутствия у роботов духовного, нравственного начала с закономерностью приводит к утрате справедливости, нравственности при осуществлении управления, и в конечном счете -- к утрате человечности. Конечно, значима для проявления указанного риска масштабность применения систем ИИ в управлении обществом, например, предоставление им права определения социально-экономических моделей, принятия решений в сфере государственного управления, вынесения судебных постановлений.
Утрата ориентиров подлинно человеческой справедливости и нравственных начал в управлении закладывает основы для проявлений дискриминации, нарушения принципов равенства и демократии, причем не только в «традиционных», известных сегодня обществу аспектах (мужчины -- женщины, богатые -- бедные, европеоиды -- негроиды, представители разных религий, идеологий и т.д.). Безусловно, робототехнические устройства с искусственным интеллектом создаются для служения человеку и воспримут то, что заложил в них сам человек.
Но эти системы -- самообучающиеся, при этом логику их решений человек не всегда может проследить полностью. Поэтому системы ИИ могут как способствовать дискриминации какой-либо одной группы людей в пользу другой в результате заданных алгоритмов программирования, так и прийти к необходимости (целесообразности с точки зрения заложенного в них алгоритма, развитого посредством самообучения) такой дискриминации на основе собственного решения (например, при предоставлении приоритета коллективным целям и развитию общества, как оно «видится» машине в данный момент, в противовес правам индивида). Особенно опасно, если при выборе между интересами человека и думающей машины, юнит ИИ может отдать предпочтение роботу с искусственным интеллектом...
В проекте руководящих этических принципов для надежного искусственного интеллекта, разработанном экспертной группой Европейской комиссии по искусственному интеллекту, указывается: «Прямая или косвенная дискриминация посредством использования ИИ может служить для создания предвзятости и изолирования определенных групп. Те, кто контролирует алгоритмы, могут намеренно пытаться достичь несправедливых, дискриминационных или предвзятых результатов, чтобы исключить определенные группы лиц. Например, преднамеренный вред может быть достигнут путем явного манипулирования данными для исключения определенных групп. Вред также может быть вызван использованием предубеждений потребителей или недобросовестной конкуренцией, такой как установление единых цен посредством сговора или непрозрачного рынка» The European Commission's High-level expert group on artificial intelligence. Draft Ethics Guidelines for Trustworthy AI. Working Document for stakeholders' consultation. Brussels, 18.12.2018 // URL: https://ec.europa.eu. P. 23..
Как показывают приведенные примеры, отсутствие необходимой правовой среды при введении систем искусственного интеллекта в общественные отношения может явиться причиной подрыва демократических основ государственного строя.
Юниты искусственного интеллекта могут быть успешно использованы в процессе судебной деятельности, в том числе для анализа судебной практики и обоснования судебных решений. Это одновременно может привести к нарушению права граждан на справедливое судебное разбирательство. Ускорение рассмотрения судебных дел в таком случае не всегда приводит к гуманизации судебной деятельности и соблюдению принципа справедливости. А ведь это одна из основ современного представления о правовом государстве, закрепленного в большинстве современных конституций стран мира и следует из сути первичных документов Европейского Союза, возводящих эти принципы уже на наднациональный уровень!
Право на эффективные средства правовой защиты и доступ к беспристрастному суду предусматривается учредительными документами Европейского Союза: «Каждый, чьи права и свободы, гарантированные правом Союза, были нарушены, имеет право на эффективные средства правовой защиты в суде... Каждый имеет право на справедливое, публичное рассмотрение его дела в разумный срок независимым и беспристрастным судом, который предварительно учрежден законом»; «Каждый обвиняемый считается невиновным до тех пор, пока его виновность не будет установлена в законном порядке» (ст. 47, § 1 ст. 48 Хартии Европейского Союза об основных правах).
Европейский Союз располагает собственным наднациональным органом судебной власти -- это Суд Европейского Союза, включающий в себя Суд (высшее звено), Трибунал (второе звено) и специализированные трибуналы (судебные органы, наделенные полномочиями по рассмотрению и разрешению строго определенных категорий правовых споров). Государства-члены устанавливают способы обжалования, необходимые для обеспечения эффективной судебной защиты в сферах, регулируемых правом Союза Договор о Европейском Союзе. Ст. 19..
В Суд Европейского Союза за рассмотрением и разрешением им дел в пределах его компетенции могут обращаться как граждане и юридические лица (при этом не только граждане и юридические лица ЕС), так и государства-члены и их органы, а также институты ЕС.
Решения Суда Европейского Союза по своей юридической природе выступают не только правоприменительными, но и де-факто в определенной степени правотворческими актами, образуя самостоятельную группу источников права Европейского Союза Например, в преамбуле Хартии Европейского Союза об основных правах (2007/С 303/01) говорится: «Настоящая Хартия подтверждает права, которые вытекают, в част-ности из общих для государств-членов конституционных традиций и международных обязательств, из Европейской конвенции о защите прав человека и основных свобод, из Социальных хартий, принятых Союзом и Советом Европы, а также из судебной прак-тики Суда Европейского Союза и Европейского Суда по правам человека»..
Посредством выносимых им решений Суд ЕС вносит значительный вклад в решение проблемы защиты основополагающих прав и свобод человека и в целом в формирование и развитие принципов права Европейского Союза, основываясь на «общих для государств-членов конституционных традициях» Принцип, выработанный Судом Европейского Союза, позднее получил закрепление в Договоре о Европейском Союзе (§ 3 ст. 6)., нормах международных договоров и общепризнанных принципах международного права.
Учитывая специфику деятельности по отправлению правосудия, в частности деятельности Суда Европейского Союза, возможно ли делегирование системе искусственного интеллекта полномочий по рассмотрению и разрешению судебных дел? Несмотря на сверхвозможности таких систем по обработке массивов информации, сопоставлению правовых норм и актов правоприменения, потенциально высокую степень формализации и непредвзятость выносимых решений, возможна ли в их работе оценка доказательств «по внутреннему убеждению» -- принцип, воспринятый большинством стран системы континентального права Упомянем этот принцип в настоящей статье в силу факта его существования, не углубля-ясь в вопросы рассмотрения положительных и отрицательных сторон его применения.?
Устранение оценки факторов, не имеющих явных логических взаимосвязей, и так называемого «человеческого фактора» из процесса принятия судебных решений может негативно сказаться на обоснованности и справедливости таких решений и в целом на состоянии защищенности фундаментальных прав личности.
Возможности всеобъемлющего применения роботизации и искусственного интеллекта в производстве ставит под вопрос само право человека на труд и использование его результатов. Здесь под вопросом оказывается существование всего комплекса трудового права, сначала в области физического труда, а потом и умственного.
Право на труд и свобода профессиональной деятельности входят в число фундаментальных прав и свобод граждан Европейского Союза: «Каждый имеет право на труд и право заниматься профессией, которую он свободно выбрал для себя или по которой добровольно согласился работать» (ст 15 Хартии Европейского Союза об основных правах). Хартией предусматриваются право на защиту в случае неосновательного увольнения, право на надлежащие и справедливые условия труда, право на защиту молодых людей на рабочем месте (ст. 30--32 Хартии) и ряд других прав в сфере труда и занятости.
При внедрении систем искусственного интеллекта возникает вопрос о будущем трудовых отношений, изменяемых вследствие влияния искусственного интеллекта на предложение и спрос на человеческий труд, так как системы ИИ позволяют роботизированным юнитам выполнять многие задачи, заменив людей на занимаемых ими ныне рабочих местах.
Европейский экономический и социальный комитет в своем заключении от 31.08.2017 «Искусственный интеллект -- последствия искусственного интеллекта на (цифровом) едином рынке, в производстве, потреблении, занятости и обществе» отметил: «...ясно, что ИИ будет оказывать влияние на уровень занятости, а также на существо и характер многих профессий и, следовательно, также на социальную систему» Opinion of the European Economic and Social Committee on `Artificial intelligence -- The consequences of artificial intelligence on the (digital) single market, production, consumption, employment and society' (own-initiative opinion) (2017/C 288/01). OJ C288. P. 9..
«ИИ меняет характер работы: одни рабочие места будут создаваться, другие исчезнут, большинство из них будут преобразованы. Модернизация образования на всех уровнях должна быть приоритетом для правительств. Все европейцы должны иметь все возможности приобрести необходимые навыки. Необходимо развивать таланты, поощрять гендерный баланс и разнообразие» -- отмечается в опубликованном в 2018 г. сообщении Европейской комиссии «Искусственный интеллект для Европы» Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 3.: «ЕС должен сосредоточить усилия, чтобы помочь работникам тех профессий, которые, вероятно, претерпят наибольшие трансформации или исчезнут вследствие автоматизации, робототехники и искусственного интеллекта. Это является мерой по обеспечению права всех граждан, включая работников по найму и самозанятых, на социальную защиту» Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 12.. Вопросам изменений в сфере труда уделяется внимание и в других, принятых в 2015--2019 гг. документах Европейского Союза Communications from the European Commission of 06.05.2015 COM(2015)192 «A Digital Single Market Strategy for Europe», of 19.04.2016 COM(2016)180 «Digitising European In-dustry Reaping the full Benefits of a Digital Single Market», of 07.12.2018 COM(2018)795 «Coordinated Plan on Artificial Intelligence», of 23.10.2018 COM(2018)800 Commission Work Programme 2019..
Как вышеперечисленные гарантии трудовых прав будут сочетаться с новшествами, объективно привносимыми в общественные отношения искусственным интеллектом? Очевидно, что ЕС признает существование этого «большого вызова». Трансформации рынка труда, связанные с внедрением в жизнь человека искусственного интеллекта, без сомнения, потребуют внесения изменений в законодательство, при этом такие изменения желательно вводить заблаговременно, чтобы избежать отставания нормативного регулирования от фактически складывающихся в обществе отношений и предотвратить возможные отрицательные социальные последствия от введения ИИ или компенсировать их эффект (например, в вопросах возможных массовых увольнений или установления сфер, в которых допустимо использование искусственного интеллекта).
Кроме того, представляется вполне обоснованным, что «трудовым правом должны быть урегулированы вопросы, касающиеся недопустимости дискриминации при использовании Big Data и ограничения для работодателей возможностей по применению различных гаджетов с целью отслеживания деятельности работников» Филипова И. А. Правовое регулирование труда -- 2020: смена парадигмы как следствие цифровизации экономики // Юрист. 2018. № 11. С. 31--35..
Упоминание права работников на приватность подводит нас к еще одной области, «вторжение» искусственного интеллекта в которую вызывает обоснованное беспокойство, -- конфиденциальности персональных данных и сохранению неприкосновенности частной жизни граждан. Применение технологий искусственного интеллекта позволяет открыто вмешиваться в частную жизнь, сводя на нет это недавно завоеванное людьми право.
Право человека на неприкосновенность частной жизни и защиту данных личного характера закреплено в гл. II «Свободы» Хартии Европейского Союза об основных правах.
«Каждый человек имеет право на уважение своей частной и семейной жизни, своего жилища и своих коммуникаций». «Каждый человек имеет право на защиту относящихся к нему данных личного характера. Обработка подобных данных должна производиться добросовестно, в четко определенных целях, с согласия заинтересованного лица, либо при наличии других правомерных оснований, предусмотренных законом. Каждый человек имеет право на получение доступа к собранным в отношении него данным и право на устранение в них ошибок» (ст. 7, § 1,2 ст. 8 Хартии).
Указанные положения основаны на ст. 8 Конвенции о защите прав человека и основных свобод от 04.11.1950 и Конвенции Совета Европы о защите частных лиц в отношении автоматизированной обработки персональных данных от 28.01.1981. Соответствующие положения содержатся также в ст. 16 Договора о функционировании Европейского Союза. «Данные нормы направлены на защиту права индивида самостоятельно принимать решение об использовании его персональных данных, что чрезвычайно важно в свете огромных объемов собранных, использованных и передаваемых персональных данных» Постникова Е. В. Некоторые аспекты правового регулирования защиты персональных данных в рамках внутреннего рынка Европейского Союза // Право. Журнал Высшей школы экономики. 2018. № 1. С. 234--254..
Необходимость сбора огромного объема данных и оперирования ими предопределяется самим существом систем искусственного интеллекта --такого рода данные необходимы этим системам для целей обучения. Кроме того, областью работы юнитов искусственного интеллекта как раз и являются сбор и анализ данных для принятия на их основе нужных человеку решений. «Осмысливая огромные объемы данных для предложения эффективных решений, ИИ совершенствует продукты, процессы и бизнес-модели во всех секторах экономики», говорится в сообщении Европейской комиссии «Согласованный план в отношении искусственного интеллекта» Communication from the European Commission of 07.12.2018 COM(2018)795 «Coordinated Plan on Artificial Intelligence». P. 2.. Именно доступность обработки большого объема данных сделала искусственный интеллект одной из важнейших технологий современности. «В нашем гипотетическом роботе будущего ИИ и суперкомпьютеры, очевидно, являются мозгами, питаемыми данными, проходящими через них; ЕС играет роль сердца, обеспечивая, чтобы «тело» получало необходимые ресурсы» Viola R. Artificial Intelligence, Real Benefits. 18.12.2018 // URL: https://ec.europa.eu/digital- single-market/en/news/artificial-inteNigence-real-benefits..
Большой объем и глобальный оборот данных являются важнейшими факторами и необходимым условием развития технологии искусственного интеллекта. Однако эти существенные изменения в сфере информации затрагивают отношения обмена персональными данными и охраны частной жизни таким образом, что последние требуют принятия дополнительных мер по их защите.
Вступивший в силу с 25.05.2018 Общий регламент о защите данных (General Data Protection Regulation (GDPR)) Регламент № 2016/679 Европейского Парламента и Совета Европейского Союза «О за-щите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС (Общий Регламент о защите пер-сональных данных)». назван Европейской комиссией «якорем доверия к единому рынку данных», который «установил новый глобальный стандарт с упором на права человека, отражающий европейские ценности, и является важным элементом обеспечения доверия к ИИ» Communication from the European Commission of 07.12.2018 COM(2018)795 «Coordinated Plan on Artificial Intelligence». P. 7.. Однако в Регламенте отмечается, что «право на защиту персональных данных не является абсолютным правом; его необходимо рассматривать относительно его функции в обществе, оно должно быть уравнено с другими основными правами в соответствии с принципом пропорциональности».
При этом в сообщении Европейской комиссии «Искусственный интеллект для Европы» уже обозначена позиция властей ЕС, обозначающая тенденцию к сужению права человека по своему усмотрению владеть и распоряжаться информацией о себе, пока, по крайней мере, на уровне призыва: «Государственная политика должна также поощрять более широкую доступность частных данных, обеспечивая при этом полное соблюдение законодательства о защите персональных данных» Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 11..
Сужение сферы неприкосновенности частной жизни вследствие сбора, объединения и анализа огромного массива данных об индивидах тем опаснее, что сбор информации сейчас может осуществляться в том числе в таких сферах и такими способами, которых рядовой человек даже не предполагает. Многие потребительские товары уже имеют встроенный ИИ: бытовая техника, детские игрушки, автомобили, приборы для отслеживания данных о здоровье, телефоны («смартфоны»). Все эти продукты передают данные, в том числе личные, на хранилища удаленного доступа (так называемые «облачные» платформы) своих производителей, разработчиков программного обеспечения и (или) компаний, оказывающих услуги.
На вопрос о том, является ли при этом конфиденциальность переданной информации в достаточной мере гарантированной, нельзя всегда с уверенностью дать утвердительный ответ, особенно учитывая, что торговля данными в настоящее время процветает. Это означает, что полученные данные могут не оставаться у получившего их лица, а быть переданы третьим лицам. Является потенциально отслеживаемой почти любая информация о пользовании современными электронными устройствами, об осуществлении платежей, зачастую -- о передвижениях (причем не обязательно осуществленных с использованием электронных систем навигации).
Как результат, сбор и соответствующая обработка данных об индивидах уже сейчас могут приводить к дискриминации, к нарушению принципов равенства и справедливости, позволяют осуществлять манипулирование правами человека (об этих аспектах уже было сказано выше).
При этом нельзя не согласиться с П. М. Морхатом в том, что «нарушение права человека на приватность (в частности -- на конфиденциальность личной информации) при применении искусственного интеллекта может быть не всегда сопряжено с очевидно ненадлежащими действиями его оператора или с достижением неправомерных целей, оно может быть побочным эффектом при достижении важных целей, отвечающих в целом общественным интересам» Морхат П. В. Искусственный интеллект: правовой взгляд : монография. М., 2017. С. 178.. Как обеспечить в данном случае баланс частного, общественного и контроль за следованием критериям разграничения при установлении этого баланса?
Кроме того, как и в отношении других прав человека, возникает вопрос соблюдения права людей на приватность самой системой ИИ при исполнении заложенного в нее алгоритма и выборе соответствующего формата поведения на основе выводов, явившихся результатом ее самообучения.
Очевидно, что новые отношения, порождаемые вхождением в нашу жизнь искусственного интеллекта, несут в себе не только новые возможности, но и порождают существенные риски, в частности в области дискриминации и вторжения в сферу прав человека во многих областях См., например: сообщение Европейской комиссии «Искусственный интеллект для Ев-ропы» ^№1(2018)237. С. 23.. Эти вопросы, являющиеся действительно глобальными вызовами человечеству, требуют адекватных и своевременных ответов.
Использование искусственного интеллекта создает существенные проблемы в правовом регулировании вопросов принадлежности интеллектуальной собственности. И это в условиях, когда услуги становятся дороже, чем товары, а материальная ценность результатов интеллектуальной деятельности превосходят стоимость услуг, не говоря уже о том, что они предопределяют перспективы развития человечества. Именно они становятся главными ценностями мира будущего! Они становятся основным источником современного синергетического и мультипликационного эффекта интеллектуального и материального производства нашей цивилизации.
Европейский парламент в отчете от 27.01.2017 с рекомендациями для Европейской комиссии по гражданско-правовому регулированию робототехники отмечает, что «не существует правовых положений, которые конкретно применяются к робототехнике, но существующие правовые режимы и доктрины могут быть легко применены к робототехнике, хотя некоторые аспекты, по-видимому, требуют особого рассмотрения» European Parliament. Report A8-0005/2017 of 27.01.2017 with recommendations to the Com-mission on Civil Law Rules on Robotics (2015/2103 (INL)). P. 11..
Европейская комиссия в сообщении «Искусственный интеллект для Европы» отмечает: «Потребуется размышление о взаимодействии между ИИ и правами интеллектуальной собственности, с точки зрения как ведомств интеллектуальной собственности, так и пользователей, с целью содействия инновациям и правовой определенности на сбалансированной основе» Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 15..
Использование искусственного интеллекта для создания произведений может иметь последствия для интеллектуальной собственности, при этом возникают вопросы, например, о патентоспособности, авторском праве и праве собственности на созданный «трудом» юнита искусственного интеллекта результат. Возможно ли будет утверждать, что такие объекты авторского права созданы творческим трудом человека? Как расценить вклад юнита в его создание? Кто должен обладать авторскими правами на произведение (например, владелец юнита, заказчик, поставивший ему задачу, его производитель, лицо, осуществлявшее его обучение, или правообладатели информации, на основании которой юнит обучался)? Возможно ли рассматривать юнита ИИ в качестве автора и есть ли вообще правовые основания для постановки подобного вопроса?
Кроме того, поскольку доступ к как можно большему объему данных является необходимым условием обучения систем ИИ (о чем говорилось выше), то представляется, что возникнет вопрос об изменении законодательства об интеллектуальной собственности с целью обеспечения «свободного потока данных» (англ. free flow of data), необходимого для дальнейшего развития и использования робототехники.
В свете развития искусственного интеллекта и робототехники, ввиду необходимости определения правового статуса юнитов с ИИ и результатов их функционирования, обоснованно возникла проблема признания «электронного лица». Отсюда вопрос правосубъектности юнитов искусственного интеллекта, как и в человеческом обществе, делится на две группы:
-- правосубъектность юнитов искусственного интеллекта, сопоставимая с правосубъектностью физического лица;
-- правосубъектность юнитов искусственного интеллекта, сопоставимая с правосубъектностью юридического лица.
Необходимо найти такие формы электронного лица, юнита искусственного интеллекта, которая смогла бы на правовом уровне и в правовых формах совместить в себе и мирно сбалансировать подлинно человеческие характеристики и права человека-создателя и то, что привносится искусственным интеллектом.
Как определить на законодательном уровне тонкую грань между допустимым «очеловечиванием» искусственного интеллекта и «омашиниванием» человеческой личности?
Как сопоставить искусственный интеллект и его сегодня еще трудно предсказуемую способность к саморазвитию (при этом сделав ее управляемой и регулируемой, с учетом безопасности человека) и естественный интеллект человеческой личности и как рассматривать вероятное соревнование между ними? Возможно ли в этой сфере правовое регулирование и каким оно должно быть?
Громадное значение имеют хрупкая человеческая личность, ее сознание, эмоциональное и чувственное восприятие, которые пока еще недоступны машинам. Но и этим основополагающим качествам человека также угрожает искусственный интеллект. Так, вживление в человека чипов, позволяющих контролировать и регулировать его поведение, практически может превратить его в робота и обеспечить управление его поведением. Поэтому важнейшим становится вопрос о сохранении человеческой личности, ее суверенитета, подлинно человеческих качеств и уважении ее достоинства.
Создание человекоподобных роботов с искусственным интеллектом для обслуживания дома и оказания различных интимных услуг для мужчин и женщин может подорвать основы семейных уз и традиционных отношений между мужчиной и женщиной. Это, в свою очередь, влияет на становление и развитие человеческой личности, ее самоидентификации.
Личность человека формируется в процессе воспитания и образования, во что также усиленно вторгается искусственный интеллект в виде робота-учителя. Но не в меньшей мере личность может быть деформирована и в процессе «человеческого» обучения, направленного на подготовку недумающего обслуживающего персонала (с различным по объему и функционалу набором компетенций).
Это как раз «компетентностный» подход к образованию, который превращает человека в механического исполнителя конкретных функций, ограничивая творческий, нестандартный, критический, конструктивный и неординарный подход, чего требуют постоянно меняющиеся условия жизни. Это как раз противоречит потребностям современного мира, которые состоят не столько в конкретных, легко формируемых и оцениваемых «hard skills» («жестких навыков»), сколько в «soft skills» («мягких навыках») -- таланте, творческом, неординарном труде, оригинальных решениях. Именно этому компетентностный подход как раз и не учит.
Подготовка «послушного», но неэффективного персонала и избирателя, в том числе и с высшим образованием, осуществляется и путем обучения выбору готовых решений в процессе тестов, вместо обучения анализу, синтезу и прогнозированию постоянно меняющейся обстановки, способности адекватно на эти изменения реагировать.
Такого рода обучение формирует стандартизированное, «клиповое» мышление, не отвечающее потребностям нашего времени. Но оно также создает условия разрушения творческой личности, ее деформации при столкновении с быстро самообучающимся искусственным интеллектом... И в этом вопросе не столько чисто правовая, сколько образовательная составляющая имеет большое значение.
В свою очередь, вторжение искусственного интеллекта в избирательный процесс и влияние его на конкретных избирателей в массовых масштабах -- прямой путь к разрушению основ сути избирательного права и демократии, основанной на выборах. Это путь к формированию еще не понятой, но уже обсуждаемой концепции «новой власти» Heimans J., Timms H. New Power: What Forces Rule the World -- and How to Make Them Work for You. Alpina Publisher, 2018., а также возможность создания невиданных в истории тоталитарных (при внешних элементах демократии) режимов как на уровне стран, так и в масштабах региональных и межрегиональных интеграционных организаций, вплоть до глобализации такого явления! И эта проблема требует незамедлительного серьезного исследования.
Анализ новейших европейских правовых инициатив и решений показывает, что для того, чтобы оградить человека от негативного влияния искусственного интеллекта, необходимы правовой контроль и ответственность за создателями, производителями, владельцами, пользователями, арендаторами юнитов искусственного интеллекта, наносящих ущерб людям и имуществу, а также за теми лицами и организациями, которые наносят противозаконный ущерб юнитам искусственного интеллекта.
Итак, очевидно, что «большие вызовы», порождаемые развитием искусственного интеллекта, изменениями в области обработки информации и внедрением цифровых технологий, требуют скоординированных действий органов ЕС, государств-членов и всего европейского общества во многих направлениях социальной жизни, в том числе и в сфере права. Как указывает Европейская комиссия в Стратегии «Единый цифровой рынок для Европы», «все государства-члены борются со схожими проблемами, но на национальной основе, которая слишком ограничена, чтобы позволить им использовать все возможности и решать все проблемы, связанные с этими трансформационными изменениями. Для многих вопросов европейский уровень предлагает правильную основу» Communications from the European Commission of 06.05.2015 COM(2015)192 «A Digital Single Market Strategy for Europe». P. 3..
Общество как саморазвивающаяся система и право как ее часть, без сомнения, смогут выработать адекватный ответ «большим вызовам» и обеспечить надлежащее правовое регулирование новых отношений на основе уважения человеческого достоинства, справедливости и гуманизма.
2. Система гарантий защиты прав и свобод человека от вторжения искусственного интеллекта в Европейском Союзе
На этом пути особую роль обретают действующие механизмы правовых гарантий прав человека, которые обеспечивают их защиту уже сейчас, когда системы ИИ входят в нашу жизнь. Насколько они эффективны сейчас и будут ли отвечать необходимым требованиям в будущем?
Если рассмотреть систему гарантий прав и свобод человека и гражданина с точки зрения составляющих ее элементов, то в этой системе, которая характерна как для Европейского Союза, так и для его государств-членов, можно выделить три основных элемента:
-- материальные гарантии (право лица на компенсацию ущерба и других убытков, причиненных в случае нарушения его прав);
-- процессуальные гарантии (реализуемые при осуществлении правосудия, прежде всего в рамках уголовного процесса);
-- институциональные гарантии (положения нормативных актов, регулирующие функционирование институтов, органов и учреждений, деятельность которых направлена на охрану и защиту нарушенных прав).
...Подобные документы
Основные права и свободы Европейского Союза. Европейский суд по правам человека. Судебные гарантии прав и свобод человека в ЕС. Международно-правовые акты Европейского Союза. Механизм обеспечения гарантий осуществления прав и свобод человека.
курсовая работа [40,5 K], добавлен 06.02.2007Права человека - одна из главных отраслей международного права. Защита прав человека как комплексная правовая категория. Юридическая защита прав и свобод человека в Росси. Механизм защиты прав человека и соотношение с правоприменительной практикой.
контрольная работа [25,8 K], добавлен 26.07.2010Становление прав и свобод человека. Понятие и сущность прав и свобод. Историческое развитие прав и свобод. Виды прав и свобод. Защита прав и свобод. Основные и иные права человека и гражданина. Система механизмов обеспечения и защиты прав и свобод.
курсовая работа [40,0 K], добавлен 30.10.2008Европейская конвенция о защите прав человека и основных свобод. Европейский Суд. Статус судьи Европейского Суда. Процесс в Европейском Суде. Предварительные меры принимаемые Европейским Судом по правам человека.
курсовая работа [43,0 K], добавлен 19.08.2007Понятие прав человека. Гарантии права и свободы человека и гражданина согласно общепризнанным принципам и нормам международного права и в соответствии с настоящей Конституцией Российской Федерации. Государственная защита прав и свобод человека в РФ.
реферат [37,5 K], добавлен 20.05.2011Проблема взаимодействия международного и внутригосударственного права, нормативные акты, регулирующие эту сферу. Защита прав человека как самостоятельная отрасль международного права. Международные правовые организации и источники международного права.
контрольная работа [16,6 K], добавлен 29.05.2017Права и свободы человека. Теория естественного права. Виды прав и свобод человека. Избирательная правосубъектность гражданина. Ограничение прав и свобод. Юридическая защита личности, защита прав и свобод. Органы исполнительной и судебной власти.
реферат [26,3 K], добавлен 14.12.2008Источники и принципы права прав человека. Отсутствие принципа взаимности при нарушении международных договоров о правах человека. Принцип недопустимости дискриминации. Классификация прав и свобод человека. Функции международной защиты прав человека.
курсовая работа [34,7 K], добавлен 11.12.2011Исследование истории идеи прав и свобод человека. Концепции основных прав. Анализ специфических особенностей личных прав и свобод гражданина. Защита достоинства личности. Характеристика политических, экономических, социальных, культурных прав и свобод.
курсовая работа [46,6 K], добавлен 10.11.2013Развитие концепции прав человека в России. Анализ действующего законодательства РФ в данной области. Общая характеристика, состав и порядок деятельности Европейского Суда по правам человека, исполнение его решений государствами - членами Совета Европы.
дипломная работа [144,6 K], добавлен 16.02.2011Понятие и сущность прав и свобод человека. Способы прав и свобод человека, публичных свобод, свободы выражений мысли и мнения, на равенство, на собственность, на неприкосновенность личности. Особенности международных прав и защит человека.
курсовая работа [30,8 K], добавлен 19.04.2006Понятие международного права по правам человека, история его формирования и современное состояние. Механизмы и средства защиты прав человека в международном праве, законодательная основа. Отражение прав человека в законодательстве Кыргызской Республики.
дипломная работа [100,4 K], добавлен 27.01.2010Изучение становления института защиты прав и свобод индивида в международном праве. Характеристика основных форм защиты прав человека в Европейском сообществе. Описания европейских стандартов и украинских реалий исполнения решений Европейского Суда.
дипломная работа [130,7 K], добавлен 04.05.2011Анализ общественно-правовых отношений в сфере прав человека. Зарождение и развитие концепции прав человека. Понятие, признаки и виды прав человека. Основные концепции правопонимания в современной России. Право на судебную защиту нарушенных прав и свобод.
курсовая работа [309,4 K], добавлен 28.10.2014Становление института защиты прав человека. Конституционно-правовые гарантии и механизмы защиты прав человека в РФ: внутригосударственные и международные аспекты. Проблемы и перспективы присоединения Европейского Союза к Конвенции по правам человека.
дипломная работа [69,2 K], добавлен 19.01.2016Вопросы устройства государства, организации власти. Теория естественного права. Виды классификкации прав и свобод человека и их защита. Личные права и свободы человека и их конституционные гарантии. Ограничения прав и свобод. Юридическая защита личности.
дипломная работа [25,1 K], добавлен 14.12.2008Признание и гарантия прав и свобод человека и гражданина согласно общепризнанным принципам и нормам международного права. Основные права и свободы человека неотчуждаемы и принадлежат каждому от рождения. Осуществление прав и свобод человека и гражданина.
статья [18,2 K], добавлен 23.02.2009Понятие основных конституционных прав и свобод человека и гражданина в России. Принцип соответствия прав и свобод человека общепризнанным принципам и нормам международного права, равноправия, их непосредственного осуществления, приоритета и единства.
реферат [37,2 K], добавлен 18.04.2010Ознакомление с историей возникновения и развития института прав человека. Описание естественных, конституционных, основных и фундаментальных прав гражданина. Рассмотрение явных нарушений личних прав и свобод человека и их защита международными органами.
дипломная работа [112,8 K], добавлен 15.07.2010История формирования основных прав и свобод человека, их отражение в юридических документах (нормативно-правовых актах). Личные, социальные, экономические и культурные, политические права и свободы. Гарантии реализации и юридические механизмы прав.
курсовая работа [43,6 K], добавлен 06.06.2014