Этика алгоритмов сбора и анализа данных: предвзятость роботизированных систем и алгоритмов

https://hightech.plus/2018/07/27/ii-onkologa-ibm-watson-ulichili-vo-vrachebnih-oshibkah-.

С исследователем Мишрой Шармой, как и с самим понятием «алгоритмическая необъективность», не согласен московский биоинформатик и выпускник «Сколтеха» Владислав Белоусов. Говоря об оценке криминогенности, Белоусов отметил, что такие вещи, как, например, преступления, априори предсказывать сложно. Так, по его словам, ИИ просто «цепляется» за некоторые факты, которые могут повлиять на оценку криминального риска. «Мы действительно не можем сказать, что чернокожий безработный выходец из бедной семьи с алкогольной зависимостью завтра совершит преступление, -- отмечает Белоусов. -- Но сочетание многих факторов повышает эту вероятность». Системы с ИИ делают именно это: считывают совокупность факторов и выдают результат. По словам эксперта, таким образом ИИ не может быть «предвзятым». «Это просто статистика. Как она может быть необъективной? В данном вопросе нет места гуманитарным понятиям об этике», -- подчеркивает Белоусов.

По мнению главного редактора портала «Системный Блокъ» и академического руководителя магистратуры «Цифровые методы в гуманитарных науках» НИУ ВШЭ Даниила Скоринкина, на предвзятость алгоритмов в эпоху deep learning влияют не когнитивные искажения разработчиков, а дисбаланс обучающей выборки («мало негров, женщин и таджиков, много белых мужчин»). Как указывает Скоринкин, избавить ИИ от предвзятости может помочь сбалансированность и репрезентативность обучающих выборок (например, когда все социальные и демографические категории представлены в адекватной пропорции). Возможно, разработчикам также поможет сознательный отказ от учета в качестве признаков для обучения моделей ИИ некоторых параметров, опора на которые не всегда считается этичной (таких как раса или пол).

Также, по мнению эксперта, опаснее всего не только необъективность, но и в целом системы с ИИ будут в тех странах, где авторитарное государство «пытается воспитать удобных себе людей через систему поощрений и наказаний, основанных на алгоритмах вроде социального кредита в Китае». Однако последствий неэтичного использования технологий ИИ в России Скоринкин пока не видит: по его словам, отечественные чиновники плохо разбираются во внедрении такого типа систем.

Сатьярт Мишра Шарма подтверждает мнение Скоринкина: на объективность алгоритмов напрямую влияет качество входных данных, то есть качество сбора и предварительного анализа. «В машинном обучении есть популярный концепт, который обозначают как garbage in, garbage out. Если вы «скормите» алгоритму мусор, он ответит вам мусором», -- отмечает исследователь.

Отвечая на вопрос о персональных данных и о том, могут ли алгоритмы деанонимизировать такие данные, Мишра Шарма говорит, что такая проблема может иметь место: «Мы смотрим на алгоритмы машинного обучения как на некий черный ящик. Они могут переобучаться, то есть способны выучить не какие-то общие черты системы, а конкретные ее части. Если не учесть такое переобучение, может случиться некая утечка информации. Но с этим можно бороться: например, тщательно анонимизировать данные при входе в систему машинного обучения». Возвращаясь к вопросу о предвзятости «умных» систем, исследователь отметил, что это частая проблема банковских структур и алгоритмов кредитного скоринга. Если у входных данных есть атрибут вроде этничности или пола, алгоритм способен выучить это как решающий фактор, не учитывая то, что он может сложно взаимодействовать с другими факторами.

Как еще, кроме улучшения разнообразия выборки, мы можем делать системы с ИИ более этичными? Шарма отвечает: мы должны учитывать не только способность систем переобучаться, но и компетенции самих создателей. Речь здесь не об устранении когнитивных искажений, а о том, чтобы нанимать в качестве разработчиков людей со стэком разных компетенций.

С технической точки зрения создать алгоритм машинного обучения может практически любой человек, который более-менее разбирается в программировании. Но чтобы понимать, как именно устроены эти алгоритмы и наблюдать за ними предметно, а не «методом черного ящика», нужно глубоко изучить работу ИИ и задачу, для которой он создается. Учитывать момент предвзятости гораздо сложнее, чем создать «умную» систему.

Алгоритмическая необъективность сегодня -- развивающаяся область. «Когда я учился в магистратуре, студентам почти ничего об этом не говорили. Просто упоминали, что есть такая вещь и что ее надо иметь в виду», -- говорит Шарма. По словам исследователя, cегодня на проблему AI bias можно смотреть с технической, социальной или политической точек зрения, но решение где-то между ними. Сейчас за соблюдением «умными» системами человеческого разнообразия следят независимые эксперты и сообщества вроде Algorithmic Justice League, чья миссия -- справедливость, ответственность и подотчетность любых интеллектуальных систем Algorithmic Justice League. .

Сегодня в научном сообществе есть фокус на разработку специальных алгоритмов, которые помогут нам превратить ИИ из «черного ящика» в понятную систему. Так, от новшеств в разработке ИИ мы переходим к разработкам в области его объяснения. Агентство перспективных оборонных исследований при Минобороны США (DARPA), финансирует 13 подобных «объяснительных» проектов. Любопытно, что именно военные решили одними из первых отказаться от слепого доверия системам с машинным или глубоким обучением. В ближайшие годы Минобороны США планирует развивать наземные и воздушные беспилотники, для которых безошибочный ИИ -- ключевой компонент безопасной работы «The U.S. Military Wants Its Autonomous Machines to Explain Themselves». MIT Technology Review. URL: https://www.technologyreview.com/2017/03/14/243295/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ .



Заключение

Недавно «Роснефеть» объявила о намерении профинансировать новую магистерскую программу МГУ «Геномика и здоровье человека»«“Роснефть” обучит в МГУ секвентированию генома человека». The Bell. . Судя по новостям в медиа, новый набор магистрантов (предполагается поступление 5-10 молодых специалистов) будут обучать способам получения генетической информации и методикам обработки этих данных. Биоинформатик Влад Белоусов предполагает, что «Роснефть», возможно, верит в то, что по SNP (мутации, специфичные для человека) можно обучить предиктор успешности сотрудника и использовать это при приеме на работу. Рискнем привести здесь небольшой анекдот, который был услышан от одного биоинформатика и скоро может стать реальностью:

«Вакансия в “Роснефти”. Требования к работе:

Высшее техническое образование.

Целеустремленность, ответственность.

Отсутствие мутаций K247Y и A54V в генах SM4RT4SS и G0SD8P соответственно».

В апреле Русская служба «Би-би-си» писала о том, что «Роснефть» собирается потратить около 1 млрд долларов на центр генетических технологий и генетического редактирования «"Роснефть" и дочь Путина займутся генетическими исследованиями россиян». Русская служба «Би-би-си. Так что мнение о том, что бизнес может использовать разработки в области ИИ и биоинформатики в неэтичных целях, вполне имеет право на существование.

Целью данного исследования была попытка понять, что именно влияет на алгоритмическую необъективность роботизированных систем и алгоритмов и как ее можно предотвратить.

В рамках этой цели мы выполнили такие задачи: изучили историю ЭВМ и понятия «искусственный интеллект»; дали определение понятию «предвзятость ИИ»; рассмотрели влияние «предвзятости» на жизнь человека и бизнеса; описали, как работает цифровой контроль, правовое регулирование ИИ и обработка больших данных в разных странах; разобрались, как меняются понятия об этике в цифровую эпоху и где место интернет-пользователя в новой системе ценностей. В работе мы пользовались теоретической и эмпирической базами источников, обратились к экспертам за комментарием и проанализировали полученную информацию.

В ходе исследования мы проверяли гипотезу о том, что путем анализа существующих кейсов есть шанс определить, в каких индустриях предвзятость ИИ будет критической, а также узнать, что именно влияет на его предвзятость. Гипотезу можно считать подтвержденной: с помощью экспертов и анализа источников мы выяснили, что наиболее «чувствительные» области для необъективности алгоритмов -- это правоохранение, медицина, рекрутинг и государственный цифровой контроль.

Очевидно, что системам, в основе которых лежат обученные нейронные сети и сложные алгоритмы их обучения, предстоит большой путь к справедливому общественному и государственному регулированию. Сложностей на этом пути масса: от недостатка мощностей и осведомленности госрегуляторов для адекватного внедрения ИИ в «чувствительных» областях до когнитивных искажений, предвзятости и недостатка междисциплинарных навыков самих разработчиков. Однако это не значит, что мы никогда не увидим действительно объективную систему -- такие уже есть. Все зависит от параметров входных данных и проблемы, для решения которой «умный» алгоритм создается. Остается надеяться, что задачи, которые человечество решит оптимизировать с помощью «умных» систем, будут ориентированы на благо.



Список литературы

«5 поколение ЭВМ». История развития ЭВМ. URL: https://clck.ru/NNRXU

«Азиломарские принципы искусственного интеллекта». Робоправо. URL: http://robopravo.ru/azilomarskiie_printsipy_ii

«Британская компания сообщила об утечке данных 267 млн пользователей Facebook». Ведомости. URL: https://www.vedomosti.ru/technology/news/2019/12/20/819272-ob-utechke-facebook

Бруссард М. Искусственный интеллект. Пределы возможного //М.: Альпина Нон-фикшн. - 2020.

Варламов, О. О. «О необходимости перехода от теории искусственного интеллекта к разработке теории активного отражения». Известия Южного федерального университета. Технические науки 77.2 (2007).

Варламов О. О. О необходимости разработки моделей этики для робототехнических систем // Информация и образование: границы коммуникаций. - 2018. - №. 10. - С. 95.

Вейценбаум Д. Возможности вычислительных машин и человеческий разум: От сужения к вычислениям: Пер. с англ. - Радио и связь, 1982.

Верещагина Н. В. Роботы, искусственный интеллект, восстание машин: мифология НТР и научная фантастика //Технологос. - 2016. - №. 3.

«Власти Китая решили акцентировать внимание на развитии ИИ». URL: https://clck.ru/NLSxJ

«В Росреестре предложили создать государственный аналог «Яндекс карт»», Балашова А., «РБК». URL: https://clck.ru/MA2Cm

«Все под контролем. Что представляют из себя «умные города» в Китае», Тищенко М., Republic. URL: https://republic.ru/posts/87253

Галимов Р. Г. Основы алгоритмов машинного обучения - обучение с учителем // Аллея науки. - 2017. - Т. 1. - №. 14. - С. 810-817.

«Где создают искусственный интеллект: топ-10 стран мира». URL: https://clck.ru/NKNX2

Денисов Э. и др. Роботы, искусственный интеллект, дополненная и виртуальная реальность: этические, правовые и гигиенические проблемы //Гигиена и санитария. - 2019. - Т. 98. - №. 1. - С. 5-10.

«Европейский парламент - информационный проект». URL: https://clck.ru/NLTWs

«ЕК приняла цифровую стратегию ЕС, включающую правовые нормы для искусственного интеллекта»/ «ТАСС». URL: https://tass.ru/ekonomika/7797081

«ЕС опубликовал закон против порабощения человечества искусственным интеллектом», Гергиев Р., CNews. URL: https://clck.ru/NLTdY

«Закон о безопасности КНР». Википедия. URL: https://clck.ru/NKcNo

Зекерьяев Р. И. Типы виртуальной личности интернет-пользователя // Ученые записки. Электронный научный журнал Курского государственного университета. - 2019. - №. 1 (49).

Зекерьяев Р. И. Типы виртуальной личности интернет-пользователя // Ученые записки. Электронный научный журнал Курского государственного университета. - 2019. - №. 1 (49).

Зуева В. Н. Обучение с подкреплением в нейронных сетях //Вестник СевКавГТИ. - 2013. - №. 14. - С. 125-128.

Иванов А. Д. Транспарентность роботизированной журналистики: как новые технологии угрожают принципам профессии //Вестник Челябинского государственного университета. - 2017. - №. 8 (404).

«ИИ-онколога IBM Watson уличили во врачебных ошибках». Хайтек Плюс. URL: https://hightech.plus/2018/07/27/ii-onkologa-ibm-watson-ulichili-vo-vrachebnih-oshibkah-

«Интернет вещей, IoT, M2M. Мировой рынок». Tadviser. URL: https://clck.ru/EjWLr

Исследование аналитической компании IDC «The Diverse and Exploding Digital Universe: An Updated Forecast of Worldwide Information Growth Through 2011». URL: https://www.ifap.ru/library/book268.pdf

«Искусственный интеллект: угроза или возможность?», ВЦИОМ. URL: https://clck.ru/NLTv5

«ИТ-программа из России прошла тест на человечность». Русская служба Би-Би-Си. URL: https://clck.ru/NNQgQ

Казакова И. А. История вычислительной техники. - 2011.

Калачева Е. А. Роботы и общество: философско-этические проблемы взаимодействия. Искусственный интеллект: философия, методология, инновации //Сб. трудов IХ Всероссийская конференция студентов, аспирантов и молодых ученых.--М.: МИРЭА. - 2015. - С. 202-205.

Кафтанников И. Л., Парасич А. В. Проблемы формирования обучающей выборки в задачах машинного обучения //Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. - 2016. - Т. 16. - №. 3.

«Клиенты Сбербанка попали на черный рынок». Коммерсантъ. URL: https://www.kommersant.ru/doc/4111863

«Кодекс поведения в интернете». URL: https://compress.ru/article.aspx?id=18188

«Конвенция о защите физических лиц при автоматизированной обработке персональных данных». URL: http://www.consultant.ru/document/cons_doc_LAW_121499/

Конституция Российской Федерации. URL: https://clck.ru/CBCL8

«Концепты социального дискурса. Этика». Гуманитарный портал. URL: https://gtmarket.ru/concepts/7185

«Кто мировой лидер в сфере искусственного интеллекта? Рейтинг искусственного интеллекта на ведущих конференциях 2019 года», Чувпило Г. URL: https://clck.ru/NKNVY

Лебедев Л. С. Обзор экспертных систем и перспективы их применения в энергетике //Вестник Иркутского государственного технического университета. - 2014. - №. 4 (87).

«Логическая машина Раймонда Луллия». Vicent. URL: https://vikent.ru/enc/2295/

«Логическое программирование». IPC. URL: https://ipc.susu.ru/lp-14.html

Маковкин А. С. Этические проблемы применения искусственного интеллекта //Исторические, философские, политические и юридические науки, культурология и искусствоведение. Вопросы теории и практики. - 2015. - №. 2-2. - С. 130-132.

Максимов Л. В. К понятию «объект морали» (по мотивам эколого-этических дискуссий) // Этическая мысль. - 2010. - №. 10.

Максимов Л. В. К понятию «объект морали» (по мотивам эколого-этических дискуссий) // Этическая мысль. - 2010. - №. 10.

Макулин А. В. Интеллектуальные системы в гуманитарной сфере и цифровая философия //Вестник Северного (Арктического) федерального университета. Серия: Гуманитарные и социальные науки. - 2016. - №. 2.

Маслов С. Ю. Обратный метод установления выводимости для логических исчислений //Труды Математического института имени ВА Стеклова. - 1968. - Т. 98. - №. 0. - С. 26-87.

«Модель Маккаллока-Питса». Распознавание. URL: https://clck.ru/NNRef

«Можем ли мы вскрыть чёрный ящик искусственного интеллекта?» Хабр. URL: https://habr.com/ru/post/398451

«Москва-2030: Умный город», Официальный сайт мэра Москвы. URL: https://www.mos.ru/2030

Национальный проект «Цифровая экономика», визуализация. URL: https://clck.ru/NLRqt

Нестеров А. Ю. Проблема понимания и искусственный интеллект // Открытое образование. - 2008. - №. 1.

«Обезличенные данные» или что планируется в 152-ФЗ», «Хабр». URL: https://habr.com/ru/post/468081/

«Обезличенные данные просятся на бумагу», Устинова А., ComNews. URL: https://clck.ru/NLRgu

О внесении изменений в Федеральный закон «О персональных данных». URL: https://digital.gov.ru/ru/documents/3529/

Осминская Наталья Александровна Проблема всеобщей науки и классификации наук в ранних текстах Г. В. Лейбница 1666--1669 гг. // Вестник РУДН. Серия: Философия. 2013. №1. URL: https://cyberleninka.ru/article/n/problema-vseobschey-nauki-i-klassifikatsii-nauk-v-rannih-tekstah-g-v-leybnitsa-1666-1669-gg

Поспелов Д. А. Становление информатики в России. - Новосибирск, Научно-издательский центр ОИГГМ, 2015.

«Проблемы обеспечения конфиденциальности персональных данных в условиях реализации кампании по созданию «Умных городов» в Китае: недостатки закона о кибербезопасности» , Русалкина Е.П., c.1. URL: https://clck.ru/NKSqn

Прогнозы развития технологии искусственного интеллекта на 2019 год». PWC. URL: https://www.pwc.ru/ru/publications/artificial-intelligence-predictions-2019.html

«Развитие искусственного интеллекта Китая вышло на ведущий международный уровень», Янь Ли, «Жэньминь Жибао». URL: https://clck.ru/NLStn

«Развитие искусственного интеллекта». Министерство экономического развития РФ. URL: https://clck.ru/NNRu6

«Разностная машина Чарльза Бэббиджа». Galanix. URL: https://clck.ru/NNQsH

Ройзензон Г. В. Проблемы формализации понятия этики в искусственном интеллекте // Шестнадцатая Национальная конференция по искусственному интеллекту с международным участием КИИ-2018. - 2018. - С. 245-252.

«Роботы развозят еду, а дроны следят за людьми. Технологии в Китае против коронавируса». Степанова А., «ТАСС». URL: https://tass.ru/obschestvo/7854501

«Россия названа мировым лидером по внедрению искусственного интеллекта», Гурьянов С. URL: https://clck.ru/NLTpK

«Россия проигрывает гонку за искусственный интеллект», Анпилогов А. URL: https://clck.ru/NLTsi

Руднев В. П. Субъект ноль и проблема искусственного интеллекта // Международный журнал исследований культуры. - 2013. - №. 3 (12).

«Руководство по машинному обучению для новичков». Medium. URL: https://clck.ru/NNRbN

«"Роснефть" и дочь Путина займутся генетическими исследованиями россиян». Русская служба «Би-би-си». URL: https://www.bbc.com/russian/features-52470990?ocid=wsrussian.social.in-app-messaging.telegram..russiantelegram_.edit

«Рынок искусственного интеллекта в России в 2019 г. вырастет до $140 миллионов». CNews. URL: https://clck.ru/NNQiA

«Сексизм и шовинизм искусственного интеллекта. Почему так сложно его побороть?» Tadviser. URL: https://clck.ru/NNQBs

Смолин Д. Введение в искусственный интеллект. Конспект лекций. - Litres, 2018.

«Современные проблемы информатики». НГУ. URL: https://clck.ru/NNQpr

Соколова С. Н. Искусственный интеллект и безопасность общества //Вестник Полесского государственного университета. Серия общественных и гуманитарных наук. - 2016. - №. 1.

«Толковый словарь по искусственному интеллекту». Российская ассоциация искусственного интеллекта. URL: https://clck.ru/NNQbB

Тьюринг А. М. Вычислительные машины и разум //В сб.: Хофштадер Д., Деннет Д. Глаз разума.-Самара: Бахрах-М. - 2003. - С. 47-59.

«“Умный город” или “Старший брат”? Как мэрия научилась знать о москвичах все», Захаров А., «Русская служба BBC». URL: https://clck.ru/NLRLR

Федеральный закон от 24.04.2020 N 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации - городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных»». URL: https://clck.ru/NLRYj

ФЗ «О персональных данных» от 27.07.2006 №152-ФЗ. URL: https://clck.ru/DWym4

ФКЗ от 30.05.2001 №3-ФКЗ (ред от 3.07.2016) «О чрезвычайном положении». URL: https://clck.ru/JnyW2

Хайкин С. Нейронные сети: полный курс, 2-е издание. - Издательский дом Вильямс, 2008.

«Хартия Европейского союза об Основных правах». URL: https://eulaw.ru/treaties/charter/

Хант Э. Искусственный интеллект [Текст]. - 1978.

Хоткина З. А. Почему искусственный интеллект (ИИ) имеет «склонность к дискриминации» женщин? // Женщины в профессиях XXI века: тенденции, проблемы, пер. - С. 26.

Цитаты известных личностей. URL: https://clck.ru/NKLUq

«Цифровая экономика». Как реорганизовать нацпрограмму, чтобы она заработала в полную силу», CNews Analytics. URL: https://clck.ru/NLSEQ

Цыбульская Е. В., Михайлова Т. Л. Негативное влияние искусственного интеллекта-через призму этики //Международный студенческий научный вестник. - 2016. - №. 3-4. - С. 42-42.

«Чемпион мира завершил карьеру». Газета.ру. URL: https://www.gazeta.ru/tech/2019/11/28/12836642/ii_wins.shtml

«Что такое deep learning и почему о нем все говорят?» Хайтек.фм. URL: https://clck.ru/NNRvZ

«Эвристическое программирование». Национальная психологическая энциклопедия. URL: https://clck.ru/NNR4D

«Эмоциональный робот: как стартап меняет отрасль клиентских коммуникаций». РБК. URL: https://clck.ru/NNQvY

Ященко В. А. Теория искусственного интеллекта (основные положения) //Математические машины и системы. - 2011. - Т. 1. - №. 4.

«Deep learning & Machine learning: в чем разница?» DataStart. URL: https://clck.ru/NNRi7

«Google уличили в отслеживании местоположения пользователя даже при выключенных настройках». N+1. URL: https://nplus1.ru/news/2018/08/13/Big-brother-is-watching-you

«Zoom раскрывает персональные данные пользователей с нестандартной почтой». The Village. URL: https://www.the-village.ru/village/city/news-city/378663-zoom-trublemaker

Algorithmic Justice League. URL: https://www.ajlunited.org/learn-more

«Amazon scraps secret AI recruiting tool that showed bias against women». URL: https://www.reuters.com/article/us-amazon-com-jobsautomation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-biasagainst-women-idUSKCN1MK08G

Amnesty International. Доклад 2017/18. Права человека в мире, с.191. URL: https://clck.ru/NLTR6

Barlow H. B. Unsupervised learning //Neural computation. - 1989. - Т. 1. - №. 3. - С. 295-311.

«Data Analytics and Algorithmic Bias in Policing». Royal United Services Institute for Defence and Security Studies. URL: https://rusi.org/sites/default/files/20190916_data_analytics_and_algorithmic_bias_in_policing_web.pdf

«Dealing With Bias in Artificial Intelligence». The New York Times. URL: https://www.nytimes.com/2019/11/19/technology/artificial-intelligence-bias.html?searchResultPosition=1

Dietterich T. G., Kong E. B. Machine learning bias, statistical bias, and statistical variance of decision tree algorithms. - Technical report, Department of Computer Science, Oregon State University, 1995.

Dietterich T. G., Kong E. B. Machine learning bias, statistical bias, and statistical variance of decision tree algorithms. - Technical report, Department of Computer Science, Oregon State University, 1995.

IBM Research. URL: https://www.research.ibm.com/5-in-5/ai-and-bias/

«In 2017, society started talking AI bias seriously». Engadget. URL: https://www.engadget.com/2017-12-21-algorithmic-bias-in-2018.html

Lambrecht A., Tucker C. Algorithmic Bias? An Empirical Study of Apparent Gender-Based Discrimination in the Display of STEM Career Ads. Published Online: 10 Apr 2019. URL: https://www.researchgate.net/publication

Lambrecht A., Tucker C. Algorithmic Bias? An Empirical Study of Apparent Gender-Based Discrimination in the Display of STEM Career Ads. Published Online: 10 Apr 2019. URL: https://www.researchgate.net/ publication

Life Inside China's Social Credit Laboratory, Simina Misteranu. URL: https://clck.ru/NLSnJ

«Logic Theorist». Википедия. URL: https://en.wikipedia.org/wiki/Logic_Theorist

«Machine bias». ProPublica. URL: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Next Generation Artificial Intelligence Development Plan. URL: https://clck.ru/NLSdD

Taigman Y. et al. Deepface: Closing the gap to human-level performance in face verification // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2014. - С. 1701-1708.

«The U.S. Military Wants Its Autonomous Machines to Explain Themselves». MIT Technology Review. URL: https://www.technologyreview.com/2017/03/14/243295/the-us-military-wants-its-autonomous-machines-to-explain-themselves/

«This is how AI bias really happens -- and why it's so hard to fix». MIT Review. URL: https://clck.ru/NNQKs

«Understanding the differences between AI, machine learning, and deep learning». TechRepublic. URL: https://clck.ru/NNRZN

«What is algorithmic bias?» TechTalks. URL: https://bdtechtalks.com/2018/03/26/racist-sexist-ai-deep-learning-algorithms/



Приложение

Комментарии экспертов

Сатьярт Мишра Шарма, исследователь Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных «Сколково»

И Здесь и далее: И -- интервьюер, Э -- эксперт.: Давай начнем с первого вопроса. В каких областях алгоритмическая необъективность может стать самой критичной?

Э: С моей точки зрения это либо правоохранение, либо медицина. Например, в Америке многие полицейские департаменты заключили какие-то контракты со стартапами, которые занимаются алгоритмами распознавания лиц и это очень тонкая область, где может быть много bias. И в этой области можно кому-то сломать жизнь просто, если [выявится] неаккуратность программиста или ученого, который писал эти алгоритмы. И в медицине тоже, потому что принимаются решения, которые влияют на здоровье человека. И здесь все очень тонко. Две самые такие области.

И: Давай к следующему вопросу.

Э: Как проблема сбора персональных данных может влиять на этику систем и алгоритмов? Можно сказать о качестве сбора данных. Вообще в машинном обучении есть такой концепт, на английском говорят garbage in, garbage out. Если ты своему алгоритму предоставишь мусор, он тебе ответит мусором. Здесь точно влияет качество сбора данных. Вопрос именно про персональные данные, насколько они могут деанонимизироваться?

И: Да.

Э: Это может быть проблемой, потому что мы смотрим на алгоритмы машинного обучения как на некий черный ящик. Они могут переобучаться. То есть, они могут выучить не какие-то общие черты системы, но они могут выучить конкретные экземпляры, которые мы им даем. И если не учитывать это переобучение, то тогда может быть некая утечка информации. И персональные данные могут не оставаться анонимными. Но с этим можно бороться, например, анонимизировать их очень тщательно при входе в систему машинного обучения. А вообще я хотел добавить к первому вопросу, что очень-очень давно используются в машинном обучении для такой штуки, которая называется кредитный скоринг, когда банк решает, давать ли кому-то кредит. И здесь тоже очень старая задача, здесь прям… Если на входе есть какое-то поле, например, этничность или пол, то алгоритм может выучить это как какой-то решающий фактор, не учитывая то, что этот фактор как-то сложно взаимодействует с другими факторами, и выдавать решения просто по этому фактору.

И: Давай к 3 вопросу. Как и с помощью чего мы можем делать системы с искусственным интеллектом более этичными?

Э: Учитывать вот эти bias при построении системы. Как это делать? Нужно, чтоб их строили люди, которые реально понимают в этом, потому что с технической точки зрения построить какой-то алгоритм машинного обучения не очень сложно, любой человек, который более-менее разбирается в программировании, может за пару месяцев научиться это делать. Но чтобы понимать, как все происходит, как эти алгоритмы вообще устроены, чтобы не смотреть на них как на черные ящики, для этого надо намного более глубоко проникнуть в эту тему. И вообще чтобы просто по галочкам какой-то компании сказать, что у нас есть умный алгоритм машинного обучения, который делает это и это, это не очень сложно. Это можно легко построить, но учитывать все эти bias посложнее. Например, у нас в университете, когда я проходил магистратуру, почти ничего об этом не говорили, просто упоминали, что есть такая вещь и это надо учитывать, но это сейчас очень развивающаяся область. Я бы сказал, за последние 2-3 года выходит очень много статей по ней, она быстро развивается. Не знаю, какие конкретные советы я мог дать… Нанимать людей, который понимают, чем они занимаются. Я могу дать более технический ответ - есть алгоритмы, которые учитывают вот эти bias, они сейчас не очень распространены, прям новые. Я могу дать ссылку на статью, но она на английском и очень техничная.

И: По поводу России, как я поняла, ты не можешь сказать?

Э: Я вообще не очень отделяю российский рынок от международного. Я не могу прокомментировать, как что-то конкретное в России происходит. И по 3 вопросу можно сказать, что сейчас развивается такое движение, где люди понимают, что это на них уже влияет и в дальнейшем будет намного сильнее влиять, и, если увеличить… Если люди больше знают об этом, то будет больше давления на компании, которые этим занимаются, и давления с политической точки зрения. Сейчас скину ссылку на организацию, которая в Америке начала распространять информацию про то, как такие факторы могут влиять на алгоритмы машинного обучения. На эту проблему можно смотреть с технической точки зрения, с социальной, политической или вообще. Решение где-то между ними.

Даниил Скоринкин, академический руководитель магистратуры «Цифровые методы в гуманитарных науках», главный редактор издания «Системный Блокъ» Комментарий дан в письменном виде.

И: В каких областях, на ваш взгляд, алгоритмическая необъективность («прездвзятость») ИИ может стать наиболее критичной? От глобальных решений до жизни конкретного гражданина.

Э: В тех областях, где авторитарное государство пытается воспитать удобных себе людей через систему поощрений и наказаний, основанных на алгоритмах. Типа социального кредита в Китае.

И: Как проблема сбора персональных данных может влиять на этику систем и алгоритмов? Или тут лучше говорить о качестве сбора больших данных? Как я поняла в ходе исследования, на предвзятость алгоритмов непосредственно влияет предвзятый опыт и когнитивные искажения тех, кто эти алгоритмы создает.

Э: Тут много проблем в одном вопросе описано. Я бы сказал, что на предвзятость алгоритмов сегодня (в эпоху deep learning) влияют не когнитивные искажения разработчиков, а дисбаланс обучающей выборки (мало негров, женщин и таджиков, много белых мужчин, вот это все). Но это в общем банальности.

И: Как и с помощью чего мы можем делать системы с ИИ более этичными?

Э: Сбалансированность и репрезентативность обучающих выборок (представлены все соц-дем категории в адекватной пропорции). Возможно, сознательный отказ от учета в качестве признаков для обучения моделей ИИ некоторых соц-дем параметров, опора на которые не всегда считается этичной (раса, пол).

И: Как вы видите проблему с этичностью умных алгоритмов и их внедрения в России?

Э: От неэтичности умных алгоритмов нас спасет [непрофессионализм] ответственных чиновников. Надеюсь. Иначе нам конечно грозит аналог Китая со всеми вытекающими (притеснение меньшинств, тотальная слежка, преследование мыслепреступлений и т.д).

Владислав Белоусов, биоинженер и бионформатик

Э: Роснефть хочет геном просеквенировать всем сотрудникам. Видела новость? Может, они верят в то, что по SNP можно обучить предиктор успешности сотрудника и использовать при приёме на работу? SNP -- это мутации, специфичные для человека. Ты можешь включить предсказание способностей человека по ДНК. Но я лишь предположил, что они хотят предсказывать, если что.

И: Еще не видела, включу в диссертацию. Что насчет алгоритмической необъективности ИИ? Что думаешь по моим вопросам?

Э: Я не понимаю, что ты имеешь ввиду под этим. Это просто статистика. Как она может быть необъективной? В данном вопросе нет места гуманитарным понятиям об этике. Если система думает, что у кого-то больше шансов совершить преступление, значит, об этом говорит совокупность факторов. Да, у чернокожих эта вероятность может быть больше. Но где тут нетерпимость?

И: Я скорее о том, верен ли мой тезис про то, что на то, что называют предвзятостью ИИ, влияет весь человеческий опыт -- который расистский, сексистский и какой угодно.

Э: Мы действительно не можем сказать, что чернокожий безработный выходец из детдома, алкоголик, кто угодно, завтра совершит преступление. Но сочетание многих факторов повышает эту вероятность. Это всё.

Размещено на Allbest.ru

...