Специфика корпоративной редакционной этики при работе с роботизированной журналистикой

Восприятие роботизированной журналистики аудиторией и журналистами. Концептуализация термина "роботизированная журналистика". Сложности использования алгоритмов в России. Технические и этические проблемы и недостатки алгоритмов; корпоративная этика.

Рубрика Журналистика, издательское дело и СМИ
Вид дипломная работа
Язык русский
Дата добавления 02.09.2018
Размер файла 1,6 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

70. Van Dalen A. The algorithms behind the headlines: How machine-written news redefines the core skills of human journalists //Journalism Practice. - 2012. - Vol. 6. - №. 5-6. - P. 648-658.

71. Van der Kaa H., Krahmer E. Journalist versus news consumer: The perceived credibility of machine written news. - New York: Columbia University, 2014. - P. 24-25.

72. Ward S. J. The magical concept of transparency. // Ethics for digital journalists: Emerging Best Practices, edited by Lawrie Zion, and David Craig / New York: Routledge, 2014. - P. 45-58.

73. Wolf M. Virtual Morality: Morals, Ethics and New Media. - London: Peter Lang Inc., International Academic Publishers, 2003. - 262 p.

74. Young M. L., Hermida A. From Mr. and Mrs. outlier to central tendencies: Computational journalism and crime reporting at the Los Angeles Times //Digital Journalism. - 2015. - Vol. 3. - №. 3. - P. 381-397.

Приложение 1. Экспертное интервью с советником генерального директора по IT-технологиям телеканала Russia Today и руководителем магистерской программы «журналистика данных» НИУ ВШЭ Тиной Бережной

Что вам известно об алгоритмической журналистике в целом и ее развитии в России?

- Со времен, когда только появились более-менее вменяемые компьютерные системы, стало понятно, что они хороши только в прикладном смысле. Одно из замечательных прикладных свойств - умение разбирать человеческую речь. Началось все, конечно, со спецслужб. Соответственно, все эти системы изначально создавались для того, чтобы разбирать человеческую речь и переводить звук в текст, читаемый и отправляемый. Это в те времена, когда возможности «приколотить» файл со звуком к электронной почте не было, но можно было отправить папочку специальным курьером. Сегодня это имеет гораздо более гражданское применение.

Сколько раз вы голосом просили Гугл или Яндекс что-нибудь найти или ответить на какой-нибудь вопрос. Для того, чтобы все эти системы работали, вам нужно, чтобы система понимала, что вы говорите. Соответственно, требовалось развитие чисто технологическое с двух сторон. С одной стороны - развитие технологий, которые достаточно шустро обрабатывают такие массивы информации, в которых появляется такая вещь, как машинное обучение, потому что вбить все шаблоны в одну машину невозможно, мы сами не знаем, какими шаблонами мы будем говорить через полгода. Кроме того, появилась такая вещь, как гуманизация технологий. Те компьютеры, которыми мы пользовались, например, в конце 90-х годов и те компьютеры, которые есть сейчас - это совершенно несравнимые вещи. Если бы я вам подсунула тот компьютер, на котором я писала в газетной редакции в 98-ом году, вы бы не знали с какой стороны к нему подойти. Единственное, что вы узнали бы - клавиатуру и монитор, даже мышь была другая. Большинство людей с мышкой не работало, мы знали все горячие клавиши.

Это разные системы. Тогда системы создавались для систем, сегодня они сильно гуманизированы. И получилось так, что совершенно замечательным образом развилась та самая часть, которая отвечает за гуманитарные науки прикладного свойства. В частности, появилась такая штука, как компьютерная лингвистика. Раньше это было немыслимо, как это - компьютер и лингвистика? Лингвистика - это же филологическое дело! Но сейчас - это очень серьезная наука и имеет прекрасные перспективы. Со временем «машинки» научились распознавать текст, сначала читать машинописный текст, а затем распознавать и аудио. И тут возникла одна большая проблема. Дело в том, что у разных языков очень разная структура. Например, давайте сравним прекрасную пару - немецкий и русский языки. В течение XVIII в. немецкий язык был языком науки, потому что он великолепно структурирован. По сути, немецкий язык можно свести в прекрасную, абсолютно системную таблицу. Более того, в немецком языке есть очень жесткие правила, объясняющие любые явления в грамматике и словообразовании, эти правила никогда не нарушаются. Есть четкий порядок слов, есть понятное представление о том, как изменение порядка слов меняет смысл и грамматические структуры и так далее. Попробуйте это сделать с русским языком.

У английского, который родственник немецкого языка, структура та, которая у филологов называется аналитическим языком. Например, «How do you do»? - всем известная фраза. Почему там два раза «Do you»? Потому что одно не осмысленное, оно - грамматическое. Там очень четко разграничены грамматические и семантические категории.

В русском же языке структура синтетическая. Это означает, что мы из одного слова можем слепить что угодно, преобразовывать слова при помощи префиксов, постфиксов, аффиксов, флексий и еще чертовой кучей всяческих разных «обвесов», и русский человек это поймет, а кто учил русский, как иностранный или впервые вбегает в нашу сложную грамматическую структуру, он тут же «гражданскую панихиду» закажет.

Возникла такая сложность, с одной стороны - русский язык практически не имеет диалектов. То, как мы говорим в Москве, мало отличается от того, как мы говорим во Владивостоке. Есть какие-то совершеннейшие мелочи, которые при этом не являются ключевыми в распознавании текста, именно фонетически, но грамматически - «мама дорогая!». Многие системы, которые распознают аудио-информационное расшифровывание, создавались на базе системных языков. Есть сложный язык арабский, он сложен не своей грамматической основой, грамматика у него абсолютно идеальна, он превосходно выстроен и абсолютно системен, он еще более системный, чем немецкий, он существует тысячи лет, и за тысячи лет в нем не было никаких тектонических сдвигов в грамматике, он великолепно построен, он весь просчитан. Но есть одна большая проблема, это литературный арабский, на котором никто не говорит, потому что во всякой стране язык будет отличаться в силу своей специфики. Египтянин марокканца не поймет - это два разных арабских языка, которые богаты собственными диалектизмами и совершенно разными произношениями. И, казалось бы, один и тот же язык, но они уже друг друга не поминают. Да что там далеко ходить - английский.

Если мы возьмем корректно грамматически говорящего человека из Лондона и из Ливерпуля, это будут на слух два совершенно разных языка, а если еще позовем австралийцев или новозеландцев…То, что происходит в Новой Зеландии со смещенными дифтонгами, просто любой лингвист хочется рыдать, это необъяснимо. Соответственно этим диалектам систему научили, легко научить любому произношению, потому что все эти диалекты грамматически очень простые.

С русским языком обратная ситуация, легко научить произношению, и мы вбежали в грамматику. Тут появилась такая штука, давайте придумаем, чтобы эти вот системы, раз не умеют писать этот текст, писали бы его на нужном нам языке.

Появились шаблоны?

- Нет, алгоритмизация - это не шаблоны, мы сейчас к этому придем. Алгоритм - это то, в каком порядке и что вы делаете, чтобы достичь результата. А шаблоны - это заготовки для определенных практических прикладных кейсов. В этом случае, если у вас зачесалось правое ухо, вы чешете его правой рукой, левое ухо - левой рукой, а если правой рукой вы почесали левое ухо - вы сделали неправильно. То есть алгоритм верный - чешется ухо, чеши его рукой, а шаблон не правильный. Соответственно возникла необходимость написания таких текстов сначала смеха ради, а потом - «понеслась душа в рай». Выяснилось, что есть ряд задач, которые выполнять живым людям нет нужды. Например, такая экосистема, как информационное агентство. Вы когда-нибудь видели целиком ленту любого информагентства Рейтера, ТАСС, Associated Press, Deutsche Welle? Крайне рекомендую такую ленту посмотреть. Примерно четверть этой ленты - это информация совершенно стандартного характера: прогноз погоды; когда идут выборы - отчетность по выборам; биржевые сводки. То есть, те вещи, которые повторяются из раза в раз. Как выглядела работа редактора всегда непосредственно с этими темами? Есть готовый текс, в который подбиваются нужные даты, нужные цифры, то есть обезьянья работа в самом скверном ее понимании. Тем не менее, когда работодатель нанимает редактора, он платит ему зарплату, он обеспечивает выплаты в пенсионный фонд, он платит налоги, есть также обязательства юридического свойства (если человек заболел, ему оплачивают больничный, мед. страховка и т.д.). То есть, существует целый ряд обязательств, которые существуют перед редактором, в то время, как кто-то в готовом шаблоне просто «поправил циферку». Возник резонный вопрос, а почему бы не автоматизировать этот процесс. В это же время, одной из предпосылок создания возможности автоматизированных текстов стало и то, что производители необходимой информации - биржи, избиркомы, государственные и негосударственные организации - тоже стали автоматизированными. И как только появились стандартные, изо дня в день понятные цифровые данные, тогда появилась возможность их применять в стандартных агентских текстах.

Представьте, идут выборы, неважно какие, президента Бразилии или короля Нарнии или Средиземья (условно). И вот из всех стран Средиземья начинают поступать отчеты, везде, где голосуют это делают в электронном виде, потому что Средиземье продвинутое. Одни хотят голосовать за Арагорна, другие - за Борамира (условно). У вас есть два бюллетеня: галочка - 1 и галочка - 0, каждое отвечает за своего. Вот приходят эти электронные бюллетени, столько-то единичек, столько-то ноликов, и у каждого кусочка информации, которое к вам приходит есть привязка к местности и ко времени. То есть вы знаете, откуда поступили эти данные и в какую секунду, даже сотую долю секунды они были собраны. И вы можете их не просто суммировать и выдавать, но вы еще на этом фоне можете видеть, что, допустим, данные, которые пришли в 13:30 отличаются на столько-то от данных, которые пришли в 13:35. И мы можем сравнивать заданные интервалы между собой. Круто?

Все это стекается к вам и все это можно машинно обработать. Представьте сколько времени нужно живому человеку, чтобы получить информацию из 15-ти разных участков, сложить, сравнить, написать. К тому времени, как он это сделает, информация, учитывая нашу скорость, уже просто устареет. А тут мы знаем, что каждый раз, когда приходят новые данные, мы пишем по одному и тому же образцу текст, вот нам первый шаблон. Мы создаем шаблон: столько-то отсюда, явка такая-то, к тому-то времени проголосовало столько-то. Вот все проголосовали, все собрали, сколько времени надо машине, чтобы эти данные вытащить из приходящих к ним уже готовых понятных и описанных материалов и вставить в готовый шаблончик?

Да, секунды. Вот они все проголосовали, есть все данные, в результате гонки между Борамиром и Арагорном победил Двайлен, мы получили результат, который надо обсуждать. В этой ситуации есть автоматизируемая часть и не автоматизируемая. Часть, которую можно автоматизировать - это холодные, беспристрастные, автоматически собранные, автоматически переданные и автоматически разложенные по статейкам цифры. Это та часть, в которую человек не вмешивается. Единственное, что здесь делает редактор, а здесь должен быть очень профессиональный журналист с хорошим опытом, чтобы это сделать, он создает все стандартные виды шаблонов и систему соответствия. Например, когда приходит вот такая-то информация, с такими-то данными, она должна попадать в этот шаблон, но если есть одна переменная, которая меняется так, то в другой. А вот в этом шаблоне могут быть вариативные части, которые собираются из этого, этого и вот этого, то есть, есть шаблон готовенький, а есть конструктор из частей в нем.

Это все должен сделать человек с хорошим журналистским опытом, человек, который понимает, как работают мозги у людей и как работают все эти системы. Если какую-то статистическую часть собрать поможет машина, то «почему победил Двайлен?» она не объяснит, здесь нужны человеческие мозги. Все разговоры об искусственном интеллекте прекрасны, но он пока еще не очень интеллектуален это интеллект, он старается, очень работает, но побаиваясь. Он пока не может анализировать такие вещи, как мотивацию человеческую, взаимоотношения какие-то людские и так далее. Есть сейчас какие-то такие штуки, как оценка настроения, но как она производится? Она все равно производится по тем метрикам, которые мы задали, по тем семантическим характеристикам, которые задали люди. Задали люди, что слово «жопа» плохое, и машина все время говорит - слово «жопа» плохое, а может у кого-то это ласковое название жены. И когда он говорит ей «жопка ты моя сладкая», он же ее не обижает, он же ей рассказывает, что жить без нее не может, ну не сложилось у него с другой лексикой. Более того, в украинском языке, например, есть очень нежное обращение к девушке - «рыбонька», в русском языке это звучит издевательством, хотя и то и другое славянские языки. В Суржике, в районах Малороссии, где украинский и русский языки переплелись, понять плохое или хорошее слово без контекста и ситуации невозможно. В то же время, все системы, которые существуют в социальных сетях, не улавливают тонкостей иронии, сарказма, они не всегда понимают, что ненависть может быть холодной и не обязательно для этого поливать человека «матерком», вести себя некрасиво, а можно изысканными, крайне деликатными фразами не просто в гроб уложить, но еще и гвозди сверху «позакалачивать». Машины пока этого не умеют, и слава богу, будет еще чем позаниматься, над чем поработать.

Ответственность за ошибку несет, скорее журналист, или же она возлагается на машину?

- Тут есть такой момент: машины не делают алгоритмы сами, машины не программируют себя сами, таким образом, ответственность на всех этапах лежит на людях. Ответственность человека, который разрабатывал алгоритмы. Он несет ответственность за то, как эти алгоритмы работают, насколько эти алгоритмы точны, насколько они не дискриминативны. Можно написать алгоритм, который будет вычленять, например, все слова, которые считаются ругательными по отношению к определенной группе населения, а можно, наоборот, упустить какие-то моменты. По-хорошему, должны быть какие-то системы проверки, контроля и аудита всех этих систем. То есть, условно, вот у нас робот работает в тестовом режиме, вот результаты, которые дают человеческие редакторы, при уже сложившейся системе контролей, проверок, системе выпуска, многоступенчатой вычитке, перед тем, как это дать на ленту; насколько лучше или хуже с этим справляется машина, где она делает ошибки, какие типические ошибки. То есть, на аудиторе тоже есть ответственность, на тестировщиках такая же ответственность и на людях, которые создают шаблоны и направляют это все, на них тоже вся эта ответственность лежит.

Дело в том, что очень многие ребята, которые работают в журналистике - классные журналисты, но, когда к ним подходишь и начинаешь говорить всякие слова типа «машинное обучение», «искусственный интеллект», «техническое задание», у них глаза из черепа выпадают и с криками они убегают глубоко в закат. Чтобы такого не происходило, им тоже нужно получать хотя бы базовое техническое образование. К сожалению, мы сейчас видим, что люди постарше немножечко отстраняются от этого. Они прекрасно умеют работать в команде, они умеют поставить задачи, но уметь работать с «технарями» - это отдельный навык. Это умение говорить на другом языке и ощущать мир по-другому, не только по-журналистски, но и через все цифровые потоки, которые на нас падают. Сейчас многие люди, которые просто выросли в интернете, уже рождаются с клавиатурой в руках, с портфолио в зубах, рождаются с акаунтом в фейсбуке.

Давайте поговорим об этике, этических сводах и кодексах?

- Что касается этической части вопроса, у компьютера, на том уровне, на котором он есть, на котором он существует, нет отдельно взятой морали, этики и каких-то сводов правил, то есть до истории Айзека Азимова «Я-робот», до этого уровня мы еще не доросли, потому что у компьютеров, как у таковых нет сознания и самосознания, нет ощущения самости. Знаете, что такое психологическая самость? Вот этого всего пока еще нет. Мы сейчас говорим о трех разных итерациях этики. Мы говорим об этике сбора данных, то есть если мы берем данные в обработку, мы должны быть уверены, что эти данные собраны этично, они собраны полностью, не скомпрометированы, никто не удалил какие-то важные, значимые куски, и мы должны быть уверены, что эти данные собраны не во вред кому-то.

Вторая часть - это этичность алгоритмов, о чем мы уже говорили. И третья часть - это этичность результатов выдачи - то, как мы с этими результатами поступаем, как мы с ними работаем, потому что на этапе сбора информации журналист уже должен понимать и решать, вызывает ли информация достаточно доверия, достаточно ли она проверена, действительно ли имеет все необходимые характеристики полных, независимых, этичных данных. Либо же эта информация вызывает вопросы, соответственно, неэтичный сбор информации может привести к печальным последствиям после публикации результатов. Что же касается робо-журналистики пионеров, кто прямо хорош в ней? «Рейтер», у них на ленту очень много пишут роботы. И это та самая проходная автоматизированная информация, которая абсолютно точно нужна медиа в работе, но при этом она каждый раз, изо дня в день шаблонная - одна и та же. «Bloomberg», конечно же. «Washington post» этим занимается и, насколько я помню, собственная разработка была у «New York Times».

А что с ситуацией в России?

- В России с русским языком большая засада, у нас роботы пишут неуклюжие тексты с глупыми ошибками, дебильными окончаниями и такими речевыми ляпами, что нормальный редактор, посмотрев на такой текст, спросит - «вы, что, недавно русский учите?», то есть существуют такие моменты, когда чисто технически это невозможно. Я не знаю ни одного такого российского издательства.

«Sports.ru», «Интерфакс»?

- Надо посмотреть, что у них есть из автоматизированного, думаю, что максимум - счета матчей роботы пишут, но аналитику они все-рано не сделают. Я писала ребятам в «ТАСС», спрашивала об этом, там тоже еще ничего толком нет. Еще такой момент, не существует в настоящее время ничего регламентированного в этой области, никаких стандартов де факто, как это должно происходить. Например, мы знаем, что если мы пишем какой-нибудь документ, то скорее всего мы будем писать его в ворде, получилось, что это стало стандартом, все здесь «срослось», «устаканилось». Есть какие-то стандарты для определенных документов, разработок, открытых данных и всего прочего, есть какие-то стандартные программы для выполнения этих задач. А что касается роботизированной части журналистики, пока все, у кого это есть в каком-то серьезном виде, они все занимаются проприетарной разработкой. Я полгода пыталась найти робота, который будет писать мне новости, ничего не получилось, все компании делают это под себя. Есть какой-то внутренний собственный продукт, который заточен под их нужды. А какого-то универсального инструмента, которым бы пришел, сделал, как это делают интеграторы, у которых есть стандартный коробочный продукт, который они потом аккуратненько «допиливают» под нужды конкретной конторы, с роботизированными системами для журналистики этого пока нет. Думаю, что, в первую очередь, это потому, что в этом пока еще нет денег. Как только в этом появятся деньги, туда народ прибежит, потому что роботизированные системы, например, не появлялись на телевидении очень долгое время, потому что никто не понимал, зачем в это вкладывать деньги. А когда вообще все стало цифровым, все вдруг поняли, что, если перевести всю систему в цифру, мы экономим безумное количество денег. Лучше за одну систему заплатить, чем за 150 человек с этим же старым вордом.

Получается, сегодня проще отказаться от роботизированных технологий, по крайней мере в России?

- Скажем так, многим это пока не по карману - заводить свою проприетарную разработку, кто-то в этом не видит нужды сейчас. Может у них такие потоки информации, которые не требуют такого финансового вложения, потому что поддержание любой IT-системы тоже стоит денег. Вы же не просто один раз заплатили за этого робота, и он «фигачит» себе от рассвета до заката. Нет, есть еще железная инфраструктура, ее тоже нужно поддерживать, она электричество ест, которое стоит у нас не малых денег, она требует инженеров, которые умеют это обслуживать. Нужно убедиться, что у вас в IT-штате есть люди, которые могут всю эту катавасию обслужить, а она обязательно должна поддерживаться разработчиками, потому что нет ни одного программного продукта, который работает идеально, его в принципе нет. И чем сложнее программа, тем интереснее она «глючит», это я вам как бывший IT-директор скажу. Соответственно, кроме этого нужно регулярно обновляться, потому что, как только происходит что-то новенькое, у необходимы, опять-таки, вложения. Вероятно, что мы пока не дошли до той степени, когда это окупается.

Что касается кодексов, должны ли вноситься в стандартные журналистские кодексы какие-то поправки относительно роботов?

- Здесь не совсем журналистика, здесь стыки. Есть некоторое количество организаций, которые такого рода этический кодекс пытаются выработать для себя. Например, Open Data Institute, предложил своего рода условный кодекс. Есть американская ассоциация журналистов расследовательской журналистики, которая тоже пытается такой кодекс разработать, но у них пока тоже нет единого этического кодекса, потому что это стык двух дисциплин. Если смотреть на этику машинной обработки данных, то надо смотреть на науку, в частности, например, очень давно занимаются машинной обработкой данных медики и психологи. Понимаете, насколько у них чувствительные данные, не дай бог это все куда-нибудь выльется или будет неверно трактовано, если будут применяться предвзятые алгоритмы и так далее. Вот у них есть попытки весьма удачные создать такие этические кодексы, но они не во всем транслируются в журналистику. Поэтому сейчас собственно дискуссия об этом открыта. В России пока так.

Никак?

- В общем, да. Когда я прихожу к ребятам, к большому интегратору, и говорю - «ребята, а вот у вас данные, которые вы показываете в презентации, где вы их взяли?», - «А вот в интернете лежат». Ну как же так, да мало ли оно чье? Они отвечают: «Раз в интернете есть - значит для всех». А это не так. Есть какие-то вещи, которые надо обсуждать, об этом договариваться. Если в странах, где такие практики существуют гораздо дольше, отсутствие регуляции в этих практиках уже начинает нести негативные последствия, то мы к этому еще не пришли. Поэтому у нас и разговоров пока про это нет, практика не настолько распространена. Но думаю, что, когда это станет какой-то кипящей материей, бурлящей, которая захлестывает все на своем пути и срывает шапки вместе с головами, вот тогда по принципу «жареный петух клюнул» появится какая-то жесткая, стройная, согласная система.

По поводу обучаемости интеллекта в алгоритмах, как вы думаете, это скоро наступит? Может Россия перепрыгнет этот алгоритмический этап?

- Чисто технологически, это прекрасная утопия. Человечество постоянно приходит к разным интересным новым находкам, и что происходит в закрытых IT-лабораториях мы с вами не знаем, на то они и закрытые. Вы же понимаете, что какой-нибудь Гугл переводчик, который переводит тексты налету это лишь консьюмерская часть разработок, которые нам показывают крупные компании. На самом деле, они живут в гораздо более высокотехнологичном мире в своих лабораториях. То, что происходит там, я полагаю, что оно на пару поколений получше того, что ест у нас. Другое дело, что вещи, которые в конце концов превращаются в консьюмерский продукт, они должны пройти довольно долгий путь от этой лаборатории, где создание технологий бесконечно долго и дорого, до того самого консьюмерского продукта, который распространен и дешев. Он дешев в производстве, в поддержании, обновлении и утилизации, то есть весь жизненный цикл каждого из этих технологических продуктов он должен пройти. Другое дело, не у всех жизненный цикл одинаков, и по длине, и по составу, но, тем не менее, мы к этому идем. Но какие-то есть вещи, которые надо преодолевать. Плюс ситуация, в которой находятся компьютерные лингвисты, она с одной стороны крайне завидная, потому, что это фантастически интересная тема для исследований, с другой - она вообще не завидная, потому что им приходится работать с материалом, который меняется у них на глазах. Это довольно сложно, как мне кажется, но чертовски интересно.

Приложение 2. Экспертное интервью с руководителем отдела «Интернет и СМИ» интернет-издания Lenta.ru Анастасией Евтушенко

Что вам известно об алгоритмической журналистике в целом и ее развитии в России?

- Лично я вкладываю в понятие алгоритмической журналистики любой рабочий процесс (в моей профессии, естественно), который можно автоматизировать. От самого простого применения до самого сложного. Если брать это понятие в широком понимании, то исправление орфографических и пунктуационных ошибок в текстовых файлах вполне можно причислить к «роботизированной помощи». Как в мировых, так и в российских изданиях часто поднимаются дискуссии о том, что в будущем журналистов заменят роботы, но в реальности, думаю, это самое будущее наступит очень нескоро.

Самый популярный пример, который, думаю, многим приходит на ум, -- робот, ведущий на китайском телевидении прогноз погоды. Это пример того, как элементарные данные, не нуждающиеся в обработке или анализе, оценке, которую можно подать без сопоставления с другими фактами. Некоторые журналисты автоматизируют сортировку различных потоков информации, но вряд ли это широко распространено в профессии.

Работает ли ваше издание с технологиями роботизированной журналистики?

- Да, по нескольким фронтам: для анализа нашего собственного трафика и для сбора информации.

Как давно ваше издание работает с алгоритмической журналистикой?

-Я работаю в издании два года, и все эти два года мы применяем эти данные.

Какую именно работу выполняют роботы?

- Анализ трафика -- вещь, которой занимаются все издания (по крайне мере, крупные). Алгоритм традиционно собирает число просмотров и уникальных посетителей, самые популярные и непопулярные материалы, анализирует срез аудитории. В качестве помощи в непосредственно журналисткой работе лично я использую какие-то инструменты для автоматизации и оповещения, чтобы попросту не тонуть в потоке данных.

Это алерты на ключевые слова (смерти, блокировки, ЧП и другие), включение оповещений на публикации людей, которые важны как ньюсмейкеры моим отделам, и настройка rss-лент.

Произошли/происходят ли какие-то изменения в корпоративных этических кодексах?

- Не думаю, что автоматизация процессов как-то существенно влияет на рабочий процесс. Основную роль все еще играют люди и качество материалов зависит от их профессионализма и знания журналистской этики.

Должны ли, на ваш взгляд, они в принципе происходить? Что именно должно учитываться?

- Если вы не против, в этом вопросе немного пофантазирую. Главные страницы крупных изданий (как в России, так и за рубежом) до сих пор формируются руками человека. Это происходит потому, что робот (по крайней мере, на данном этапе) вряд ли сможет расставить однозначные акценты. К примеру, если сортировать материалы по популярности или вовлеченности, то в топ неизбежно будут пробиваться резонансные или провокационные события: катастрофы, смерти, статьи с сексуальным подтекстом или основывающиеся на остром конфликте. Даже учитывая современные реалии, обычный читатель вряд ли сможет вынести такого потока негатива.

Если мы предположим, что журналистские процессы в будущем будут полностью отданы на откуп алгоритмам, но их придется обучать журналистской этике, которая в большей степени основана на долге профессии перед обществом. Это очень гуманистическое понятие, которое алгоритму, думаю, постичь сложнее, чем сложные автоматические процессы.

Отражают ли корпоративный кодекс журналиста вашей медиакомпании этические ценности, такие как прозрачность, объективность, ответственность и точность?

- Да, безусловно. Перед устройством в редакцию любой новичок должен усвоить свод правил (как организационных, так и этических), которые зафиксированы на бумаге.

Насколько сложно вносить изменения и дополнения этических ценностей медиакомпаний с введением в использование продуктов алгоритмической журналистики?

- Не уверена, что на данном этапе развития журналистики -- это сложно. Единственный нюанс, который, как мне кажется, может возникнуть, кроется в статистике. Достаточно подробный анализ данных сайта получает любой сотрудник и мотивация, основанная исключительно на цифрах, может толкнуть журналиста к слепой погоне за трафиком. У нас это решается так: вместе с гипотетическими просмотрами следует учитывать важность и актуальность.

Способны ли медиа-организации понимать и учитывать этическую составляющую программирования и раскрывать свои источники по запросу аудитории?

- Если речь идет о своих разработках, то, как и любая другая компания, медиа вправе не раскрывать принцип алгоритмов. По моему мнению, это сравнимо с любыми другими технологиями.

В случае ошибки алгоритма, кто, на ваш взгляд, несет ответственность?

- Ее создатель, это безусловно.

Каковы наиболее важные факторы в развитии роли журналистики в процессе применения программного обеспечения и новых технологий для сбора, анализа и представления большого количества данных?

- Главный фактор -- сохранять материалы доступными, понятными и полными для читателя.

Как насчет самообучаемости и наличия интеллекта (как у Алисы) у алгоритмов будущего?

- У Алисы нет интеллекта, это машинное обучение и даже оно функционирует в зачаточном виде. По факту Алиса способна рассказать о погоде и дать наиболее вероятный ответ на простые вопросы. Она не способна вести осмысленный диалог и очень зависит от поисковой машины, к которой обращается в тех случаях, когда не может самостоятельно обработать запрос (это достаточно часто).

Именно поэтому, по моему мнению, эта профессия еще долго не вымрет. Голосовые помощники (Сири, Алекса, Кортана, Алиса и так далее) одинаково узконаправлены: они созданы для озвучивания функций и сильно ограничены в круге тем. Журналистику все еще причисляют к творческим профессиям, а значит, здесь важен нестандартный, нелинейный подход. В случае с алгоритмами, вероятно, осуществить подобное с помощью роботов возможно и крайне сложно.

И, самое главное, -- людской труд все еще дешевле разработки собственных алгоритмов. Это на данном этапе развития очень важно, потому что любой технологический прорыв (особенно такого толка) может быть совершен только тогда, когда он экономически выгоден.

Приложение 3. Экспертное интервью с главой департамента разработки новой продукции Tribuna & Sports.ru Михаилом Калашниковым

Что вам известно об алгоритмической журналистике в целом и ее развитии в России?

- Под роботизированной журналистикой люди подразумевают разные вещи. В принципе, любая работа журналиста всегда отчасти роботизирована, так как какая-то часть всегда делается человеком, а какая-то машиной.

Сегодня существует Google, и я себе очень плохо представляю, как люди работали в журналистике до его появления, но, видимо, все было гораздо сложнее. То есть какие-то части работы журналиста, они приводят так или иначе к алгоритмам, программам. Но я не очень верю, что в ближайшие лет десять состояние технологий дойдет до того, что алгоритм сможет сделать всю работу целиком, начиная от выбора идеи и заканчивая ее воплощением, но какие-то части, которые раньше делали люди, постепенно заменяются работой роботов.

Сейчас, например, в Америке есть такие стартапы, которые наконец-то решили проблемы расшифровки интервью - это очень крутая история. Ты загружаешь аудио, а машина тебе все это расшифровывает, и ты уже можешь работать с текстом, выделять какие-то нужные куски. То есть, все то, что раньше было невозможно.

Но ведь русский язык более сложен и непонятен для машины, нежели английский, можно ли данный пример применить к России?

- Алгоритмы распознают что-либо гораздо лучше, чем синтезируют. То есть распознавание звука - это проблема, которую решат в ближайшие 2-3 года даже в России, несмотря на все сложности русского языка. А в тестовом варианте, оно даже на русском уже нормально получается и, я думаю, будет еще лучше.

Что касается синтеза речи, то здесь алгоритмы тоже преуспели и уже максимально близки к реальной речи. Но именно составить какую-то осмысленную историю из слов для алгоритма пока еще слишком сложно. И я пока даже не представляю, как с технической точки зрения это может быть выполнено в ближайшие десять лет, к тому же, я считаю, что в этом нет и необходимости на самом деле.

Какую работу алгоритмы выполняют в вашей редакции? Как это происходит в сравнении с другими СМИ, использующими технологии алгоритмов?

- В плане работы с контентом, могу сказать, что мы шагнули вперед хотя бы потому, что мы попробовали хотя бы что-то сделать, до этого никто, кроме нас, в России этого сделать даже не пытался. Но для нас это было проще, потому что у нас в Spotrs.ru уже есть структурированные данные, а с алгоритмом, как раз-таки, удобно работать, когда данные уже структурированы. Поэтому, на основе таких данных можно было уже пытаться делать что-то похожее на текст. То есть, условно, если мы знаем, что в футбольном матче изменился счет, то у нас, соответственно, меняется заголовок новости. И если сначала эта новость называлась «Играют Спартак и ЦСКА», то в течение процесса, получая новые данные, заголовок меняется на «Спартак выигрывает ЦСКА», а уже в конце матча в заголовке появляется результат этой игры. Это очень просты штуки, но даже при их использовании мы столкнулись с проблемой. В русском языке существуют склонения, которые алгоритмы не всегда могут понять и правильно какое-то слово просклонять, потому что не различают, где имена собственные, а где - нет.

Это основная проблема, связанная с алгоритмами?

- Это большая проблема, в принципе, любого вида роботизированной журналистики. Алгоритм может делать что-то похожее на текст, существуют нейронные сети, которые способны это делать. Но проблема в том, что люди очень хорошо определяют аномалии. И если ты видишь, что весь текст выполнен нормально, но, внезапно, - одно слово неправильное, - магия сразу исчезает и ты думаешь «боже мой, какой тупой робот». В этом и проблема, что невозможно добиться этого стопроцентного качества именно потому, что будут возникать такие, хоть и редкие, случаи. Так, например, алгоритм отлично склоняет название команды «Спартак», со командой «Динамо» тоже все отлично, алгоритм понимает, что это слово склонять вообще не нужно, но потом появляется команда «Крылья Советов», и алгоритм ломается, потому что для него сочетание слов «Крылья Советов» больше похоже на сочетание имени и фамилии человека, он начинает склонять неправильно.

Возникают ли другие проблемы, кроме неправильного употребления склонений?

- По сути это главная проблема. То есть, в принципе, если данные структурированы, достаточно простого задать правила того, как это должно выглядеть на выходе и таких правил может быть достаточно много. Это то же самое, что делали новостники до этого - до прихода алгоритмов. Если менялся счет матча, они шли и меняли заголовок, вот и возник вопрос, зачем это делать им, если эту работу может выполнить алгоритм. Когда появляется задача, которую выполняется по определенному алгоритму, ее проще отдать роботу.

Вы продолжаете работать с этим видом алгоритма?

- Эта штука работала какое-то время, но сейчас мы ее отключили из-за того, что иногда она все-таки «косячила», а даже если и не «косячила», то все-таки это был софт, который мог ломаться даже из-за обновления сайта. Живые новостники в этом смысле лучше, они способны адаптироваться. Опять же, любое роботизированное решение будет дорого стоить. Потому что, чтобы его поддерживать, нужно иметь хотя бы парочку хороших разработчиков - профессионалов, а это очень дорого.

В России эта тема не особо популярна, даже «ради интереса» случаи использования алгоритмов единичны. Почему проще отказаться от технологических нововведений, чем начать их использование? Только потому, что дорого?

- На мой взгляд это просто бессмысленно. Когда мало контента, то технически это просто незачем. Это можно делать только когда контента очень много. Мы это делали потому, что различные чемпионаты - регулярны, на все чемпионаты новостников не хватает. Поэтому, если это действительно нужно и людей для освещения действительно не хватает, тогда это можно использовать. Это будет окупаться только в контексте больших масштабов.

Вообще, создание контента, заголовков и текстов - только одна часть работы журналиста, которую, как раз, сложнее всего автоматизировать. А есть много другого, что я считаю не менее важным, например, дистрибуция медиа материала по разным платформам и социальным сетям, которые имеют разные требования.

Кто несет ответственность за ошибку алгоритма? Должно ли это быть прописано в кодексах медиакомпаний?

- Это невозможно прописать. Допустим, история с фактчекингом - алгоритм очень легко обмануть, даже самый сложный алгоритм. То есть, его обмануть сложнее, чем одного человека, но гораздо проще, чем нескольких людей одновременно, потому что люди так устроены, что очень хорошо замечают любые аномалии и нестандартные ситуации. А алгоритмы - наоборот - очень хорошо понимают стандартные ситуации и очень плохо реагируют на нестандартные. Поэтому несколько человек проверят достоверность каких-то данных гораздо эффективнее, чем один алгоритм.

Алгоритм легко обмануть. Я занимаюсь алгоритмом по распознаванию картинок: ему показываешь фотографию, а он называет тебе предмет (ноутбук, кофе, диктофон). Так вот, ученые изобрели такие стикеры, которые можно приклеить на картинку с несколькими предметами, после чего алгоритм распознает на картинке только тостер. Потому что в этом стикере содержится такой идеальный образ тестера, который гораздо сильнее, чем все остальные образы, изображенные на картинке.

Происходят ли какие-то изменения (поправки) в корпоративных этических кодексах при введении алгоритмов в работу редакции? Должны ли, на ваш взгляд, они в принципе происходить? Что именно должно учитываться?

- Каждый алгоритм, в любом случае, кто-то написал, этот человек и несет ответственность так или иначе. И от того, что он написал его на языке программирования, а не на русском языке, в котором алгоритм выдает материал на выходе, ничего не меняется. Поэтому мне кажется, что даже не нужно ничего дополнять и прописывать, так как люди должны нести ответственность за то, что они сделали.

Должны ли алгоритмы раскрывать свои источники в целях доверия аудитории?

- Существуют системы, используемые, например, ФБР, которые выдают достоверную информацию, но никогда не выдадут свои источники и не расскажут тебе, почему это именно так. Поэтому, когда люди требуют от Фейсбука или Яндекса раскрыть свой алгоритм, этого просто невозможно добиться. Потому что в основе их алгоритма лежит огромное число параметров и нет одной простой причины объяснить, почему именно эта информация верная. То есть это все невозможно прописать и учесть ни в одном кодексе или уставе.

Каковы наиболее важные факторы развития роли журналиста в процессе применения программного обеспечения и новых технологий для сбора, анализа и представления большого количества данных?

- Ответ очень прост. Дело в том, что роботы заменяют то, что легко сделать роботам. Задача человека - делать то, что робот сделать не сможет: что-то придумать с нуля, человеческое общение с другими людьми и другие новые задачи, а роботы хорошо работают с задачами, которые уже были. Поэтому, чем больше работа становится похожа на роботическую, тем быстрее ее заменит робот, а задача журналиста - заниматься тем, что его отличает от робота.

Каково, на ваш взгляд, будущее российской роботизированной журналистики?

- Какие-то вещи будут возникать по частям. Опять же, расшифровкой интервью через три года уже не будут заниматься люди, не нужны будут и операторы, так как дрон может летать и снимать материал с любых ракурсов.

Как насчет самообучаемости и наличия интеллекта у алгоритмов?

- А зачем? Те журналисты, которые опасаются появления интеллекта у машинных журналистов, они просто в них не разбираются. Роботы заменят только тех, кто ведет себя как робот. А традиционная журналистика - она не то, что победит, она никуда не денется.

Приложение 4. Экспертное интервью с редактором отдела «Технологии» Би-Би-Си Анастасией Зыряновой

Что вам известно об алгоритмической журналистике в целом и ее развитии в России?

- Алгоритмы машинного обучения уже сейчас позволяют генерировать текст, который сложно отличить от того, что написан человеком. Например, некоторые новостные агентства пользуются такими программами для выпуска погодных или биржевых сводок. Сводок о дорожном трафике или спортивных новостей (такое практикует, например, Sports.ru). Однако все это - тексты с сухим стилем и простой конструкцией.

Говоря о других алгоритмах в журналистике, хочется также упомянуть сервисы типа Feedly и Social Flow, которые используются, наверное, в каждой уважающей себя редакции. Как в России, так и заграницей.

Работает ли ваше издание с технологиями роботизированной журналистики?

- Нет, мы не используем роботов, которые генерируют тексты, но отдел SMM пользуется Social Flow, например. То есть использует сервис, который позволяет «заводить» время публикаций в соцсетях и делать посты в некоторых соцсетях одновременно и автоматически.

Почему, ведь как показывает практика других стран, журналисты-роботы заметно облегчают работу журналистов, выполняя основные рутинные задания?

- Зависит от типа этих рутинных заданий. Наша редакция не выпускает новости, которые не имеют т.н. added value. На данном этапе развития машинного обучения, он не способен написать статью с этой самой добавочной стоимостью. Да и сможет ли когда-нибудь делать это лучше человека? Я в этом не уверена.

Почему проще отказаться от технологических нововведений, чем начать их использование?

- Опять же - зависит от типа этих самых технологических нововведений. Пока что я не встречалась на практике с сервисами, которые бы действительно облегчили мне работу по созданию текста. Конечно, программы типа «Главреда» или организатора ленты новостей очень помогают в таких рутинных мелочах, как поиск новостного повода или проверки опечаток или кривых фраз в тексте, но я не новостник, а научный журналист, который занимается более глубокими текстами. Мне не кажется, что существующие «технологические нововведения» в журналистике помогли бы мне делать свою работу быстрее и качественнее.

Признаться, не помешал бы сервис, который находил бы и выделял главные тезисы и цифры в научных статьях (а то слишком много времени тратится на то, чтобы перелопатить исследования). Однако я не уверена, что могла бы доверять ему до конца.

Отвечая на вопрос, скажу, что отказаться от чего-то нового может быть легче, чем привыкнуть к нему, потому что человек пока еще не доверят машине на 100%. Нам по-прежнему кажется, что мы сами сделаем это лучше, мы не пропустим в рабочем процессе важные моменты, а машина как будто бы может. На деле бывает по-разному, человек сам также много ошибается. Но в этом случае он может взять ответственность на себя и сказать: «Да, это я проглядел». Если же он делегирует задачу машине и ошибается ОНА, то человек, которому не безразлично его дело, будет корить себя потом, думая: «А ведь я бы мог заметить этот нюанс вовремя, если бы сам взял задачу в свои руки, а не свалил ее на машину». Это вопрос профессиональной ответственности человека и того, насколько его волнует его же работа.

Также важно понимать, что машины создает человек. И если машина ошиблась, значит, ее создатель не вложил в ее алгоритм чего-то важного. А значит, переложив профессиональную задачу на машину, человек отдал свою профессиональную судьбу в руки не просто машины, а машины, созданной ДРУГИМ человеком. То есть фактически положился на другого. Вопрос доверия - один из самых сложных в нашей жизни.

Произошли/происходят ли какие-то изменения в корпоративных этических кодексах? Должны ли, на ваш взгляд, они в принципе происходить? Что именно должно учитываться?

- Безусловно, с увеличением степени автоматизации рабочего процесса компании должны пересматривать принцип ответственности сотрудников за их работу. Кто виноват, если алгоритм ошибся? На этот вопрос каждый работодатель должен знать четкий ответ.

Отражают ли корпоративный кодекс журналиста вашей медиакомпании этические ценности, такие как прозрачность, объективность, ответственность и точность?

- Да. На 100%.

Насколько сложно вносить изменения и дополнения этических ценностей медиакомпаний с введением в использование продуктов алгоритмической журналистики?

- Зависит от масштаба медиакомпании. Если это небольшое и частное СМИ, такой вопрос может быть решен довольно быстро. Если же это огромный медиахолдинг, то вопрос должен будет рассматриваться на всех уровнях, вплоть до генерального директора. В некоторых случаях это может занять месяцы или даже годы. Проблема в том, что, в таком случае, пока вопрос будет решаться, технологии разовьются еще сильнее, и придется уже обсуждать новые изменения в этике.

Способны ли медиа-организации понимать и учитывать этическую составляющую программирования и раскрывать свои источники по запросу аудитории?

- Полагаю, что решение СМИ раскрывать источники или нет, зависит от согласия самого источника.

В случае ошибки алгоритма, кто, на ваш взгляд, несет ответственность?

- Это сложный вопрос. Можно сказать, что разработчик. Но всегда легко найти крайнего, сложнее же разобраться, почему действительно так вышло. Если алгоритм ошибся, то журналист, который ему доверился, тоже может считаться виноватым, потому что в идеале он мог проверить то, насколько алгоритм качественно решил задачу, и предотвратить скандал.

Каковы наиболее важные факторы в развитии роли журналистики в процессе применения программного обеспечения и новых технологий для сбора, анализа и представления большого количества данных?

- Там, где есть спрос, появляется и предложение. Главный фактор - это общение и сотрудничество журналистов с разработчиками подобного софта.

Как насчет самообучаемости и наличия интеллекта (как у Алисы) у алгоритмов будущего?

- «Интеллект» - это, все-таки, слишком общее и слишком пафосное понятие для того, чтобы им характеризовать какие-то программы. Сами разработчики ИИ предпочитают его не использовать (кроме как в каких-то выступлениях на публике) и называть более конкретные понятия вроде «машинного обучения». А самообучаемость - это не просто будущее технологий, это уже настоящее. Машинное обучение внедряется повсеместно, и дальше будет только интереснее.

Размещено на Allbest.ru

...

Подобные документы

  • Возникновение феномена гражданской журналистики в зарубежных и российских масс-медиа. Различные интерпретации термина "гражданская журналистика" в современных исследованиях. Проблемы, затрудняющие развитие гражданской журналистики в России и за рубежом.

    курсовая работа [90,3 K], добавлен 21.08.2017

  • Коммуникационная теория журналистики, ее социология и психология. Журналистика как социальный институт. Профессиональная этика и нравственность поведения журналиста. Право массовой информации в правовой системе Беларуси. Понятие политологии журналистики.

    контрольная работа [21,7 K], добавлен 07.06.2011

  • Понятие журналистики. Сущность, цели, функции, средства. История развития и становления журналистики, в том числе в России. Типы направления. Социально-политическая и экономическая ситуация обуславливающая качество журналистики в современной России.

    курсовая работа [89,7 K], добавлен 28.09.2015

  • Средства массовой информации как создатель особой реальности. Превращение деятельности СМИ в "миксерную журналистику". "Миксерная журналистика" в России. Картина мира, формируемая "миксерными журналистами". Основные правила "миксерной журналистики".

    курсовая работа [72,7 K], добавлен 04.11.2013

  • Развитие современного Интернета. Определение журналистики. Понятие и специфика интернет-журналистики. Интернет как способ общения в журнализме. Проблема свободы средств массовой информации в современной России. Закон о средствах массовой информации.

    курсовая работа [41,6 K], добавлен 18.06.2012

  • Ознакомление с историей становления военной журналистики в России. Проведение сопоставительного анализа личностей военных корреспондентов различных войн и выявление тенденции того времени. Рассмотрение ситуации с журналистикой в современном мире.

    реферат [169,8 K], добавлен 04.01.2016

  • Рассмотрение журналистики как отражения нашей жизни. Оценка процесса нагнетания проблем посредством средств массовой информации. Роль журналистики в политической пропаганде. Влияние развития техники на потребности общества и на качество журналистики.

    эссе [19,2 K], добавлен 14.05.2015

  • Определение и изучение основных особенностей аналитической журналистики: анализ формата, жанра и его организации. Состояние аналитической журналистики в России в рамках представления её как политического формата, как профессиональной области и как рынка.

    курсовая работа [43,8 K], добавлен 03.12.2010

  • Теоретическое осмысление проблем культурно-просветительской журналистики в современном обществе. Исследование профессионально-психологического портрета журналиста, работающего в сфере культурно-просветительской журналистики на примере электронного ИАР.

    дипломная работа [339,6 K], добавлен 25.05.2017

  • Профессиональный долг, ответственность, честь и достоинство журналиста, производственно-этические принципы, в которых отражены требования к его поведению. Запреты или побуждения, регламентирующие поведения журналиста, профессионально-этические нормы.

    реферат [22,3 K], добавлен 27.02.2010

  • Характеристика интернет-журналистики: особенности становления, развитие и специфика в Украине. Интерактивность как эффективный фактор реализации массовой коммуникации. Сущность веб-среды, анализ онлайн-журналистики. Обзор деятельности популярных сайтов.

    дипломная работа [99,4 K], добавлен 01.09.2013

  • Основные принципы редакционной независимости СМИ. Этический кодекс Центра журналистики стран Латинской Америки. Угрозы редакционной независимости, отношения с рекламодателями. Реклама как мощный и стабильный источник финансирования большинства СМИ.

    реферат [20,7 K], добавлен 01.05.2010

  • Определение понятия спортивной журналистики и её особенности в России. Специфика, достоинства и недостатки красноярских спортивных средств массовой информации. Анализ читательских предпочтений, выявленных методом контент-анализа и опроса аудитории.

    курсовая работа [185,5 K], добавлен 23.02.2015

  • Субъективно-объективная природа принципов журналистики. Основные теории советских масс-медиа. Ориентиры современного российского журналистского сообщества. Международные принципы профессиональной этики журналиста как базис для национальных кодексов.

    реферат [18,5 K], добавлен 14.06.2009

  • Деловая журналистика в России: функциональный аспект, этапы становления и современное состояние. Особенности рекламы и пиара в деловых СМИ. Анализ взаимодействия деловой журналистики и интернета. Общая характеристика рынка деловой информации в России.

    шпаргалка [35,0 K], добавлен 22.12.2010

  • Основные понятия, значение и функции PR. Определение журналистики, ее функции и трансформация. Информация как объект работы журналиста. Значение профессионально-этических кодексов. Место в профессиональной деятельности Кодексов профессиональной этики.

    курсовая работа [44,9 K], добавлен 09.05.2014

  • Науки-предшественницы журналистики. Этапы ее развития. Многоаспектность функционирования средств массовой информации (СМИ). Роль социологической, филологической и культурологической базы в профессионализме журналиста. Специфика работы в разных типах СМИ.

    курсовая работа [46,7 K], добавлен 28.01.2012

  • Идеологическая деятельность и формирование культур как главные функции журналистики. Определение понятия арт-журналистики и определение её места в мире современных информационных технологий. Сущность арт-критики и арт-анализа культуры и вкусов общества.

    реферат [26,9 K], добавлен 31.05.2013

  • Современная журналистика как форма коммуникативной практики. Процесс развития и интеграции системы массовых коммуникаций и глобальной сети Интернет, связь свойств информационного общества и журналистики. Становление и формирование интернет-журналистики.

    реферат [17,6 K], добавлен 10.06.2010

  • Этапы развития рок-музыки на западе и в России. Феномен "русского рока". Отечественная рок-журналистика 1980-2010 гг. Зарождение независимой рок-журналистики в период тотальных запретов и гонений. Печатные издания, аудио-визуальные и электронные СМИ.

    дипломная работа [296,6 K], добавлен 03.10.2014

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.