Опыт социально-философского осмысления проблемы "фейков" и "пузырей фильтров" в сети

Размещено на http://www.allbest.ru/

Опыт социально-философского осмысления проблемы "фейков" и "пузырей фильтров" в сети

Гуров Филипп Никитич

Соискатель кафедры философии факультета социальных и гуманитарных наук МГТУ им. Н.Э. Баумана, Генеральный директор Коммуникационной группы "Гуров и партнеры", г. Москва

Аннотации

В данной статье рассматриваются проблемы формирования информационных пузырей фильтров и новейшие технологии манипуляции сознанием в динамично изменяющих реалиях информационного общества. Анализируется специфика виртуального сетевого субъекта деятельности. Предлагается общий принцип верификации информационного онлайн-сообщения, а также описываются практические способы распознания недостоверной информации ("фейков") в Сети. Раскрываются такие ключевые характеристики цифровой реальности, как "потоковость" и "амплификация", "персонализация" и "тематизация". Информатизация рассматривается как источник социокультурных изменений.

E-mail: gurov@gurovpr.ru

THE EXPERIENCE OF SOCIAL AND PHILOSOPHICAL EXPLANATION OF THE PROBLEM OF "FAKES" AND "FILTER BUBBLES" ON THE WEB

Gurov Philip N.

Post-graduate student at the Department of Philosophy, Faculty of Social Sciences and Humanities, Bauman Moscow State Technical University, Director General of Gurov and Partners, Moscow

Abstract. This article discusses the problems of formation of information bubbles of filters and the latest technologies of mind control in the dynamically changing realities of the information society. The specificity of the virtual network subject of activity is analyzed.

A general principle of verifying an online information message is proposed, and practical ways of recognizing unreliable information (fakes) on the Web are described. Such key characteristics of digital reality as "streaming" and "amplification", "personalization" and "thematization" are revealed. Informatization is considered as a source of sociocultural changes.

Введение

Начиная с 1960-1970-х гг. благодаря революционным изобретениям в сфере информационно-коммуникационных технологий (ИКТ) и повсеместному распространению компьютерной и робототехники мир вступил в так называемую "информационную эпоху". Философия техники последних десятилетий убеждает нас в том, что правовые, этические, а также психологические аспекты современной "техногенной цивилизации" вызывают все больше вопросов. Современное общество многие социальные философы также называют "обществом риска" (У Бек, Н. Луман, Э. Гидденс, Г. Бехман, С.А. Кравченко), для которого, по словам Кравченко, характерно в том числе ".. увеличение фрагментарности, хаоса; утрата четкого разграничения между природой и культурой; стирание ранее возведенных границ между классами, нациями, людьми; количественное и качественное возрастание рисков" [1]

Вне зависимости от термина, которым исследователи определяют ту социальную реальность, в которой мы живем, ни у кого не возникает сомнений, что основной приметой современности является ставшее на наших глазах глобальным информационное пространство. Одной из отличительных особенностей этого глобального информационно-коммуникационного пространства, по словам В.В. Миронова, является то, что происходит нивелирование различий локальных культур и появление поп-культуры, которая приобрела глобальные масштабы [2]. Согласимся, что с изменением средств и характера коммуникации нарушается естественный баланс между высокой и низовой культурой в пользу последней. "Мы погружаемся в мир шоу, которое господствует везде - от искусства до политики", - отмечает В.В. Миронов [2].

Действительно, зачастую залогом успешной коммуникации сегодня считается соответствие законам и принципам шоу. Отчасти этому способствует повсеместная информатизация - проникновение новейших ИКТ во все сферы жизнедеятельности человека и общества. Для современных медиа характерна конвергентность - сближение различных форматов и технологических платформ с использованием интерактивных сервисов. Мультимедийность и возможность мгновенной обратной связи стирают границы между исполняющим и воспринимающим внутри шоу-пространства, построенного по закону соучастия. При этом красочность и эмоциональный посыл оказываются порою важнее смысловых коннотаций. В таком случае информационный продукт не обязан иметь завершенный характер, а вопрос достоверности выносится за скобки. Внутри шоу происходит подмена реальности образами масс-медиа и поп-культуры. В гиперреальности (Ж. Бо- дрийяр) такого информационно-коммуникационного взаимодействия цель одна - "The show must go on".

Новые формы уязвимости

В современном глобальном информационно-коммуникационном пространстве человек стал более свободным в самовыражении, но более поверхностным, так как, чтобы "углубиться", нужно время и усилие. Но сегодняшний человек живет в слишком быстром темпе, чтобы остановиться и подумать, к тому же он так привык к легкости, которую ему подарил технический прогресс, что, кажется, уже не согласен прикладывать усилие большее, чем требуется для нажимания на кнопки. Тогда как ценности высокой культуры всегда требовали духовного напряжения, не вмещаясь в стереотипы повседневного, массовая поп-культура принимает за норму облегченное, привычное, но в то же время броское, гротескное.

В современных реалиях многое свидетельствует о пассивной, потребительской позиции широких слоев общества, хотя самими потребителями она не осознается в качестве таковой: человек лицом к лицу с новейшими ИКТ чувствует себя более активным и информированным субъектом, чем когда-либо прежде.

Наше время делает человека свободнее и вместе с тем создает новые формы уязвимости. В Интернете все - от компьютерных вирусов до деструктивных идей - гораздо доступнее, чем когда-либо прежде. Информация, не стесненная каким-либо материальным носителем, перемещается свободнее, чем когда бы то ни было. Но это приводит к множеству побочных эффектов.

В информационную эпоху формируются новые хозяйственно-экономические отношения и новая политика, открывая как широкие перспективы для позитивного развития институтов государства и гражданского общества, так и простор для деятельности деструктивных сил.

Угрозу в масштабах общества представляет противоречие между демократией и целенаправленно применяемыми информационными технологиями: постоянно встают проблемы социально-правовых отношений, которые должны обеспечивать внедрение и использование информационно-коммуникационных сетей. В новых процессах многое воспринимается как угроза естественным правам человека и его правам гражданина.

В этих условиях очевидна необходимость осмысления изменений, спровоцированных информатизацией, а также разработка наиболее эффективных стратегий решения сопутствующих ей социальных проблем.

Некоторые ключевые характеристики цифровой реальности

Территория Веб 2.0 - это глобальная информационно-коммуникационная система, многомерное сетевое пространство, порождающее новые формы коммуникации, открывающее возможности для экономической и политической активности, а современные ИКТ предоставляют новые (возможно, более эффективные) способы технической манипуляции общественным сознанием по сравнению с традиционными СМИ.

Информационную деятельность в пространстве Веб 2.0 отличает, прежде всего, невещественный статус средств и продуктов производства, что существенно видоизменяет сам характер производства и потребления. Виртуальный информационный продукт обладает такой отличительной особенностью, как текучесть (потоковость). Цифровая информация существует как непрерывный процесс, бесконечное увеличение числа копий - амплификация. Это непрерывная прямая трансляция, прямой эфир, не имеющий последнего дубля и устроенный по законам шоу. В то же время этот поток имеет способность быть обратимым (говорят: "Интернет все помнит"), то есть мы можем не только в любой момент прервать коммуникацию (или потребление информации), но и вернуться в любую ее точку в прошлом.

Таким образом, новая информационно-коммуникационная система трансформирует основные параметры человеческой жизни - пространство и время. Пространство Веб 2.0 стирает границы культурного, исторического, географического значения. В новой коммуникационной системе время - прошлое, настоящее и будущее - сходится в гипертексте одного сообщения. Говоря словами М. Кастельса, "материальный фундамент новой культуры есть пространство потоков и вневременное время. Эта культура перекрывает и включает разнообразие передававшихся в истории систем отображения; это культура реальной виртуальности, где выдуманный мир есть выдумка в процессе своего создания" [3, с. 353]

Специфика онлайн-коммуникации. На чем основываются политические и маркетинговые технологии управления вниманием субъекта?

Для анализа специфики онлайн-коммуникаций нам представляется продуктивным исследование Г.В. Сориной и М.В. Виноградова "Субъект принятия решений: становление и деятельность" [4]. Выделяя виртуального анонимного сетевого субъекта (ВАСС) авторы говорят о его сложностях с ориентацией в информационном пространстве Веб 2.0 в условиях "множественности равнозначных истин и неограниченного выбора" [4]. Директивное управление действиями такого субъекта затруднено или практически невозможно. Это объясняется спецификой нового субъекта деятельности: в виртуальных сетевых структурах сложно обнаружить устойчивые субординационные и координационные зависимости между элементами. Части в таком сетевом организме равноправны, то есть влияют друг на друга в одинаковой степени. Поэтому директивное управление действиями такого субъекта по принципу властной вертикали невозможно. Однако возможна переориентация внимания ВАСС средствами современных ИКТ с целью опосредованного влияния на поведение ВАСС.

Главная цель всех манипулятивных техник - вовлечение ВАСС. Для достижения этой цели интернет-маркетологи активно применяют технологии, выявляющие предпочтения ВАСС на основе предыдущих запросов, а также используют эффект присутствия объекта прошлого интереса в зоне видимости в долгосрочной перспективе. Эти же механизмы работают на формирование так называемого "пузыря фильтров", о чем речь пойдет ниже.

Важно понимать, что персональные данные (имя, адрес проживания, данные паспорта и т. д.) при таком алгоритме маркетологу просто не интересны: цифровой след в виде лайков и комментариев говорит об интересах человека гораздо больше и позволяет без усилий выделить группы пользователей по примерному району проживания, материальному положению и даже по политическим, религиозным, мировоззренческим и иным предпочтениям.

Таким образом, без видимых принуждений и объективных детерминаций, адаптируясь и мимикрируя под собственные представления субъекта, у ВАСС произвольно формируются мнения. При этом субъект уверен, что не только не теряет, но и приумножает свою свободу, независимость и способность суждения.

Очевидно, что сформированные предпочтения не могут претендовать на роль общезначимых или общеобязательных, директивных или безальтернативных. Однако они вполне могут инициировать поведение (покупательское или электоральное).

При этом информационный продукт с помощью новейших ИКТ не только устроен по принципам шоу (яркость, крикливость, вовлечение), но и имеет более выраженный суггестивный эффект, так как воздействует на эмоции и чувства субъекта, минуя рациональное осмысление.

Тематизация и персонализация Всемирной сети. Что такое "информационный пузырь"?

Согласно последним исследованиям, современные онлайн-пользователи отдают предпочтение площадкам, позволяющим уменьшить общий объем информации и вместе с тем улучшить качество коммуникации. К таким площадкам, в первую очередь, относятся форумы и мессенджеры, а также тематические ресурсы и сообщества в соцсетях, то есть сервисы, предоставляющие возможность формировать персональные ленты новостей (так, к примеру, в Twitter это возможно сделать при помощи хештегов, в Telegram - присоединившись к публичным каналам). В нашей стране отмечается рост интереса к сервису персональных рекомендаций "Яндекс. Дзен". Отмечается комментарийная активность пользователей на этой площадке, а сам сервис демонстрирует высокую цитируемость в социальных медиа (по данным Brand Analytics, по этому показателю "Дзен" обгоняет информагентства "РИА Новости" и ТАСС [5]). Персональное пространство Веб 2.0 выглядит сегодня в большей степени как пользовательский контент на базе социальных сетей и популярных мессенджеров.

Попадая в информационно-коммуникационную онлайн-галактику, пользователь фактически оказывается внутри собственного "информационного пузыря", который выглядит как экосистема из привычных приложений, избранных платформ и новостных агрегаторов, а также набора "подписок" и личных "представительств" (страничек) в социальных сетях.

Это отчасти дискредитирует идею Интернета как свободной и безграничной информационно-коммуникационной системы, сужая децентрализованный океан информации до удобного количества наиболее посещаемых и релевантных интересам конкретного пользователя онлайн-площадок. Объясняется это понятным стремлением человека к обустройству психологически комфортного, соразмерного и "своего" информационного пространства. С другой стороны, именно таким образом и формируется личный информационный пузырь. Учитывая специфику устройства механизмов поисковых систем (когда поисковые роботы запоминают оставленный нами ранее "цифровой след", "предугадывают" наш интерес и выдают нам персонализированную информацию), можно сказать, что происходит радикальное сужение картины мира и мы оказываемся закупоренными в своих "информационных пузырях". Маркетинговые и политические манипулятивные технологии направлены на разработку алгоритмов "органического" внедрения в такие персональные информационные пузыри.

Так новые ИКТ формируют картину мира современного человека. Человек, воспринимающий мир через призму своих электронных девайсов, не замечает, как происходит подмена реальности сфабрикованными образами индустрии масс-медиа. Таким образом, ИКТ становятся инструментами общественного влияния и контроля, а территория Веб 2.0 - местом зарождения социокультурных изменений. Сегодня мы наблюдаем, как постепенно происходит нечто похожее на монополизацию информационного онлайн-эфира наиболее влиятельными 1Т-корпорациями с одной стороны, и попытки установления государственного контроля - с другой.

Среди возможных психологических причин, обуславливающих возникновение "информационных пузырей", можно назвать усталость пользователей от бесконечного разнообразия неструктурированной информации, а также неспособность к систематизации и критическому анализу информации. Очевидны негативные последствия неспособности к критическому мышлению в социальной и индивидуальной жизни человека. Авторы курса "Критическое мышление" для высшего образования Г.В. Сорина и И.Н. Грифцова отмечают, что эти способности необходимы не только в научных сферах деятельности человека, но и в разных областях практической жизнедеятельности человека, включая обыденность. Г.В. Сорина подчеркивает, что современное российское общество особенно остро нуждается в профессионалах, способных осуществлять рациональный анализ возникающих критических ситуаций и выделять пути преодоления возможных кризисов и достижения прогрессивных результатов для развития не только отдельных общественных организаций и бизнес-структур, но и общества в целом [6].

Отсутствие критического мышления наряду с эффектом "ленивой аудитории" становится благодатным полем для применения различных техник манипулирования вниманием ВАСС и распространения недостоверной информации в Сети.

Как отличить информационный фейк от информационного факта?

В 2017 г. словосочетание "fake news" было признано словом года составителями словаря английского языка Collins Dictionary. Как поясняет Е. Стецко, "в этом словаре "фейковые новости" определяются как ложная, зачастую сенсационная информация, распространяемая под видом новостных сообщений" [7]. С одной стороны, аудитория теряет доверие к большинству СМИ (считая их ангажированными), предпочитает получать информацию из социальных медиа. С другой стороны, именно благодаря социальным сетям явление становится столь массовым. В результате распространение "фейковых новостей" начинает носить характер "эпидемии" [8].

Пока исследователи вопроса не могут предложить действенных способов противодействия этому явлению. А.П. Суходолов пишет, что ""журналистика факта" должна решительно выступить против "паражурналистики фейка"" [8]. Е. Стецко говорит о необходимости "совместных усилий всех заинтересованных сторон" [7]. Со своей стороны вновь подчеркнем важность повышения медиаграмотности рядового потребителя информационных продуктов и развития навыков критического мышления. На основе многолетнего опыта работы в медиаиндустрии, в том числе и в пространстве Веб 2.0, обозначим некие маркеры, по которым можно отличить "фейк" от информационного факта.

В современном медиапространтсве "фейком" может быть не только фальшивая новость, это может быть и поддельное фото, страницы в социальных сетях, созданные от имени другого человека - все, что не соответствует реальным фактам действительности [9].

А.В. Ткаченко и А.Б. Качинський рассматривают распространение фейковых новостей как одну из разновидностей "информационных операций" и исходя из этого делают вывод о трех характерных свойствах: высокой степени сходства текстов, публикуемых в Интернете (при этом тексты не являются полными дубликатами); небольшом интервале времени, за который эти тексты публикуются; публикации текстов в малоизвестных, региональных или специализированных источниках [9]. При этом, поскольку задачей "информационной операции" является максимально широкое распространение новости, мы бы добавили к этому списку скандальный или панический характер заголовков. Как правило, создатели такого текста спекулируют на тех проблемах, которые затрагивают максимально широкую аудиторию.

С.Н. Ильчинко отмечает: "Критерии достоверности, которые применимы к современной практике в "фейковой журналистике", традиционны и просты. Прежде всего, любую информацию журналист в оперативном порядке перепроверяет, используя альтернативные источники информации" [10]. Отметим, что это правило могут использовать не только работники медиаиндустрии, но и потребители информации. Автор отмечает, что "у фейковой информации есть один онтологический признак, который позволяет достаточно успешно ее идентифицировать как не соответствующую действительности. Он заключается в том, что фейк выявляет собственную имманентную сущность очень быстро в ограниченном диапазоне времени - от 1-2 часов до одних суток. Поэтому обнаружить лживость информации, которую несет в себе фейк, гораздо легче, если придерживаться принципа обязательной проверки и перепроверки поступающей в конкретное медиа информации по принципу "точность важнее скорости"" [10]. С.Н. Ильчинко отмечает важность продолжения научного дискурса относительно определения критериев достоверности информации.

В конце прошлого года ученые из компании NVidia описали новый алгоритм, который позволяет искусственному интеллекту самостоятельно создавать изображения на заданные темы. В первую очередь, речь идет о человеческих лицах, изображениях интерьеров и автомобилей. Можно предположить, что подобные технологии получат широкое распространение в ближайшие годы. Напрашивается вывод, что сопровождаемые убедительными фотоматериалами фейки будут выглядеть более правдоподобно и распознать их будет гораздо сложнее [11].

В 2008 г. я писал об эмуляциях дискуссий в блогосфере в своей книге "Продвижение бизнеса в Интернет: все о РИ и рекламе в Сети" [12, с. 82-84]. Тогда создание виртуальных персонажей и дальнейшее продвижение с их помощью товаров, услуг или политических идей в Интернете не воспринималось РИ-сообществом негативно, первые подобные проекты открыто обсуждались на профессиональных конференциях, а мои исследования были связаны с тем, как сделать такие дискуссии в социальных сетях более правдоподобными. По прошествии десятилетия эта деятельность начала носить массовый характер, а ее социальные последствия по большей части были негативными - стало очевидно, что это весьма эффективный способ манипулирования общественным мнением, а зачастую дезинформации пользователей.

На сегодняшний день можно говорить о довольно широком арсенале манипулятив- ных методов, используемых профессиональными РИ-специалистами. Согласованные действия небольших организованных групп пользователей, размещающих контент в Сети, могут быть более эффективными, чем спонтанные активности несогласного с ними большинства. Попытка замаскировать сообщение (в том числе стилистически и визуально) под привычные для целевой аудитории позволяет отчасти обойти фильтры и постепенно донести требуемую информацию до пользователей. Ссылка на слова или поступки людей, значимых для интересующей нас группы (увы, зачастую эта информация оказывается вырванной из контекста), также способна скорректировать общественное мнение.

В октябре 2017 г. Международная ассоциация консультантов в области связей с общественностью (1ССО) представила Хельсинкскую декларацию (российское профессиональное объединение АКОС поддержало эту инициативу одним из первых). В моем переводе на русский язык этот документ опубликован здесь [13]. В отличие от ранее принимаемых этических стандартов, данный документ содержит следующий важный пункт. РИ-специалисты обязуются "не скрывать информацию о том, в чьих интересах осуществляются коммуникации. Никогда не использовать инструменты, вводящие людей в заблуждение (в том числе астротурфинг, то есть искусственное создание общественного мнения путем размещения заказных публикаций, замаскированных под независимые мнения частных лиц)" [13]. Если рассматривать понятие фейка в широком смысле, то астротурфинг можно воспринимать как частный случай распространения фейков. Хотя крупнейшие российские РИ-агентства - члены АКОС - и приняли данную декларацию, мой практический опыт показывает, что количество подобных проектов в российском сегменте Глобальной сети продолжает расти.

На государственном уровне в марте 2019 г. был принят законопроект о борьбе с фейковой информацией [14], запрещающий публиковать недостоверную общественно значимую информацию, распространяемую под видом правдивых сообщений, если она угрожает жизни, здоровью, имуществу граждан или подрывает общественный порядок или безопасность. Речь идет об ответственности за намеренное распространение заведомо ложной информации, повлекшее серьезные последствия. По сути, это некий аналог закона о "телефонном терроризме", только в пространстве Веб 2.0. Однако принятие этого закона вызвало неоднозначную реакцию российской общественности ввиду того, что текст закона оставляет возможность его избирательного или недобросовестного применения. В то же время многие усмотрели в нем посягательство со стороны государства на свободу слова и попытку создания "цифрового гетто".

Выше мы уже говорили о невозможности с помощью одних запретительных мер полностью контролировать пользовательский контент. Регулирование сетевых онлайн- взаимодействий оказывается затруднительным ввиду специфики самого субъекта деятельности (ВАСС). Современная территория Веб 2.0 имеет ризоматическую структуру, число ее создателей стремится к бесконечности, для нее характерна амплификация - бессистемное и беспрерывное увеличение копий. Все это обуславливает невозможность применения директивных методов управления действиями виртуальных акторов.

Не оспаривая необходимость правового регулирования в онлайн-сфере, оставим подробный анализ сложностей правоприменения этого закона для экспертов в области юриспруденции. В задачу данного исследования не входит подробный анализ проблемы правовых отношений в онлайн-сфере.

Со своей стороны сформулируем некоторые общие принципы, позволяющие минимизировать риски от внедрения и использования информационно-коммуникационных сетей.

На основе многолетнего опыта работы в сфере связей с общественностью, в том числе в Интернете, нам удалось выработать алгоритм, позволяющий идентифицировать манипуляции и отличать достоверную информацию от информации, не заслуживающей доверия.

Мы уже отмечали такие отличительные признаки фейков, как высокая степень сходства текстов, публикуемых в Интернете, и небольшой интервал времени, за который эти тексты публикуются, а также качество онлайн-площадок (или персональных пользовательских страниц в социальной сети), на которых эта информация появляется. Необходимо уметь распознавать информацию, которая намеренно взывает к сильным эмоциям (гнев, страх, тревога или смех, сентиментальные чувства). Такие жанры, как "хоррор" и "юмор", являются наиболее востребованными упаковками для фейков.

Нужно натренировать себя на "медленное" восприятие информации, насколько это возможно в современных реалиях, когда информации так много, что времени хватает лишь на то, чтобы ознакомиться с дайджестами (кратким набором выдержек из различных источников на определенную тему). Однако стоит помнить, что скорость работает против правды, ведь для того, чтобы оценить информацию, нужны обстоятельность и сопоставительный анализ источников.

Медиагроматность должна стать одним из ключевых социальных навыков современного человека. Необходимо развивать навыки анализа текстов и онлайн-ресурсов, на которых размещаются тексты, настраивать индивидуальные фильтры восприятия информации. И чем раньше, тем лучше. Только избирательность и критическое мышление не позволят ввести ВАСС в заблуждение.

Все вышеперечисленное не гарантирует абсолютной защиты от недостоверной информации в Сети, но поможет лучше ориентироваться в виртуальных информационных потоках.

Принципы верификации информационного онлайн-сообщения

В контексте нашего исследования мы сознательно не используем категории "истины" и "лжи", с помощью которых в классической логике принято оценивать значение высказывания. Проблема верификации информационного онлайн-сообщения должна решаться, на наш взгляд, в границах обсуждения вопросов соответствия или не соответствия действительности. В таком случае критерием определения информационного факта в отличие от искусственно сфабрикованного информационного продукта (фейка) выступает объективность - надежная репрезентация наличного опыта и интерсубъективная при- знанность. Целью публикации и распространения информационного факта выступает обнаружение и фиксация реальности. Распространение информационных фейков преследует цель сознательного (умышленного) введения в заблуждение как можно большего количества реципиентов.

Осознавая локальность и приватность опыта и, соответственно, мнения конкретного актора, предполагается возможным выйти за границы субъективной перспективы и придать персональному информационному потоку предикат достоверности (объективности) при условии возможности сопоставления данных из нескольких (не менее трех) источников и наличия развитых навыков критического мышления реципиента. Это, с одной стороны, позволяет провести демаркационную линию между фейком и информационным фактом, а с другой - выйти (или попытаться выйти) за границы персонального "информационного пузыря".

Все агенты, репрезентирующие реальность в пространстве Веб 2.0, участвуют на равных в создании виртуальной картины миры. Веб 2.0 как техническая платформа дает возможность репрезентаций, которые оказались равнодоступными любому кругу лиц. Все они объединены в единую социальную информационно-коммуникационную сеть. Каждый из нас имеет свой фрагмент этой виртуальной картины мира ("информационный пузырь"), пластичный и текучий. Это и есть персональная информационная реальность, в которой чем больше социальная сеть, тем более сложную и при этом дифференцируемую реальность она представляет.

Проведенный нами анализ может оказаться полезным для формирования эффективной системы социальной организации информационно-коммуникационного пространства Веб 2.0 и регулирования онлайн-взаимодействий жителей, его населяющих.

Только комплексное междисциплинарное исследование трансформации общества под влиянием современных ИКТ поможет сформулировать цивилизационные ориентиры развития и разработать наиболее эффективные стратегии решения сопутствующих социальных проблем. информационный манипуляция сознание

Список литературы