Пример. Русский язык: Вы больны? - Да, болен. Немецкий язык: Sind Sie krank? - Ja, Ich bin es. Английский язык: Are you ill? - Yes, I am.

Проявлением тенденции к синтаксически строгим моделям предложения немецкого языка является рамочная конструкция, монофлексия в группе существительного, однократное отрицание, соблюдение полной синтаксической схемы предложения. В русском языке монофлексия отсутствует. Для сравнения: мой любимый друг, но mein lieber Freund. В русском языке предложение может иметь полинегативный характер. Пример: Ничего никому не скажу. Кроме того, в русском языке отсутствует рамка, зачастую не соблюдается полная структурная схема предложения, то есть значительное количество предложений с открытой схемой. Таким образом, в русском языке синтаксические модели предложения более гибки.

Для простого предложения в немецком и русском языках характерны: двусоставность, глагольность и номинативность. Однако в немецком языке их положение доминирующее, в русском могут быть отклонения. Двусоставность встречается даже в безличных предложениях немецкого языка, которую поддерживает формальное подлежащее es. Пример: Es taut. Еs schneit.

Классификация двусоставных и односоставных предложений на личные, неопределенно-личные и безличные в немецком языке зависит от семантики подлежащего. Личные и безличные могут быть как двусоставными (в том числе с формальным подлежащим es), так и односоставными (таковыми становятся при инверсии, выражают пассивный процесс или состояние человека). Неопределенно-личные предложения всегда двусоставны.

Русский язык устроен иначе, и при формальном односоставном типе неопределенно-личного предложения, например, по содержанию предполагается действующее лицо: по телевизору транслируют футбольный матч.

При сравнении типов односоставных предложений русского и немецкого языков, можно сделать следующий вывод: определенно-личные и неопределенно-личные предложения в немецком языке являются двусоставными, обобщенно-личные в классификации отсутствуют, между безличными предложениями наблюдаются различия, например, в немецком они могут быть двусоставными, о чем шла речь выше.

Для английского языка обязательно наличие и подлежащего, и сказуемого в предложении, т.е. двусоставность.

Второй критерий - глагольность. Большинство предложений в русском и немецком языках относятся к глагольному типу. В роли сказуемого в них выступает глагол.

В языках также присутствуют предложения безглагольного типа, в их числе номинативные: Осень. Холод. Мрак, а также предложения с именным сказуемым в настоящем времени: Дэвид Боуи - легендарный британский рок-музыкант. В немецком языке такие предложения относятся к исключениям.

В английском языке глагол играет ключевую роль в построении предложения, что обусловлено разнообразием временных форм глаголов, определяющих смысл всего предложения.

Третий критерий - номинативность. С помощью термина обозначают выражение подлежащего именительным падежом. Для немецкого языка является более строгой нормой, чем для русского, о чем свидетельствует развитая система односоставных глагольных предложений.

3. Порядок слов. В русском языке нефиксированный, порядок слов свободен и в грамматическом отношении. Зависимые слова (местоимение, числительное, причастие), как правило, предшествуют определяемому слову: его заслуга. Но в то же время порядок слов может быть иным: голос его звучал весьма тихо.

Для английского языка характерен строго фиксированный порядок слов, так как он выражает функцию члена предложения, в немецком - нечто среднее, порядок слов является ведущим синтаксическим средством для разграничения типов предложения.

Немецкому языку свойственна рамочная конструкция, в основе которой принцип постановки на дальнем расстоянии друг от друга тесно связанных по смыслу слов. С помощью конструкции выстраивается четкая структура предложения. В предложении на русском языке она более гибка.

Анализ относительных уникалий немецкого и русского языков подтверждает известное утверждение о том, что в немецком языке активнее развиваются аналитические тенденции, тогда как русский язык сохраняет черты синтетического строя. На материале немецкого языка это подтверждается развитием аналитических глагольных форм, артикля как аналитического показателя грамматических категорий имени существительного, омонимии форм прилагательного и наречия, относительной фиксацией порядка слов, формированием системы нейтральных флексий существительного и прилагательного.

Синтетизм русского языка ярко проявляется в словообразовании, ведущей тенденций которого является словопроизводство. Не менее ярко он проявляется и в системе видовременных глагольных форм, которая, в основном, однословно представляет действие как целостно-завершенный или длящийся незавершенный процесс.

Синтетизм проявляется и в сохранении богатой флексии в системе существительных и прилагательных, в том числе при грамматической адаптации заимствований Анохина С.П., Кострова О.А. Указ. соч. С. 110. .

В английском языке слабо выражены основные лексические категории и развиты относительные прилагательные, широко используются глаголы-связки и предлоги. В словосочетании зависимое слово не подчиняется главному, а примыкает к нему. Примыкание также является основным способом соединения морфем Аракин В.Д. Типология языков и проблема методического прогнозирования // Москва. «Высшая школа». 1989. С. 157. URL: https://www.booksite.ru/fulltext/arakin1/text.pdf (дата обращения: 06.05.2018). .

Выводы по 2 главе

Сопоставительный анализ морфологических и синтаксических норм демонстрирует общие черты и индивидуальные особенности русского, английского и немецкого языков. Применительно к автоматизированной журналистике, отметим, что флективность, разнообразие и гибкость грамматических категорий русского языка усложняет разработку универсальных алгоритмов автоматической обработки и генерации текстов.

Фиксированный порядок слов в английском языке, «упрощенный» состав грамматических категорий (например, наличие всего двух падежей), отсутствие флексий и словоизменение с помощью служебных частей речи или аффиксов упрощает редакциям СМИ и разработчикам процесс создания робота-журналиста.

Если русский язык по степени сложности автоматизации занимает первую строчку, а английский - третью, то второе место отводится немецкому языку, имеющему морфологические и синтаксические сходства с русским языком (односоставные и двусоставные предложения), английским (категория детерминации - употребление артиклей), а также индивидуальные типологические особенности (изменение артиклей по родам и др.).



Глава 3. Анализ текстов, сгенерированных роботами

3.1 Общие сведения

В предыдущих главах выпускной квалификационной работы описаны динамика развития автоматизированной журналистики за рубежом и в России, типы алгоритмов, языковые особенности, играющие важную роль в развитии компьютерной лингвистики и роботожурналистики как направления. Также разработана методология проведения исследования в рамках выпускной квалификационной работы (см. раздел 2.2), которая выглядит следующим образом:

1. Формирование коллекции текстов на русском и английском языках, сгенерированных автоматически.

2. Определение жанра, описание структуры, оценка актуальности темы.

3. Графематический, морфологический, синтаксический, семантический и дискурсивный анализ текстов. Отметим, что в рамках выпускной квалификационной работы мы сосредоточились на морфологическом анализе журналистских текстов.

4. Подведение итогов.

Перейдем к эмпирической части исследования.

3.2 Первый этап. Формирование коллекции текстов

Коллекция текстов сформирована на базе 36 материалов роботов-журналистов, опубликованных на сайтах средств массовой информации. Темы: финансы (колебания курса валют, квартальные отчеты компаний), спорт (статистика матча, результаты игры), чрезвычайные ситуации (сообщения о землетрясениях). Также для сравнительного анализа в коллекцию текстов входит заметка корреспондента ТАСС на тему торгов Московской биржи Индексы Мосбиржи и РТС по итогам торгов выросли на 0,5-3% вслед за нефтью // ТАСС. 2018. URL: http://tass.ru/ekonomika/5191004 (дата обращения: 10.05.2018). . Ссылки на материалы даны при описании результатов исследования в третьей главе магистерской диссертации и представлены в разделе «Списки литературы и используемых источников».

Содержание коллекции текстов:

1. Материалы алгоритма информационного агентства ТАСС, генерирующего заметки о курсах валют на русском языке. Количество текстов: 18. Источник данных: сайты Центрального банка России и Московской биржи. Период публикации: от 9 ноября 2017 года до 30 января 2018 года.

2. Тексты на английском языке, основанные на данных финансовых отчетов крупных компаний. Сгенерированы алгоритмом Quill (Narrative Science) для журнала Forbes. Количество: 8. Поставщик данных: Zacks Investment Research. Период публикации: 2015 год.

3. Заметки Associated Press на английском языке, основанные на квартальных отчетах компаний. Тексты сгенерированы алгоритмом Wordsmith (Automated Insights). Количество: 4. Поставщик данных: Zacks Investment Research. Период публикации: 2016-2018 гг.

4. Англоязычный текст Associated Press на тему спорта. Алгоритм Wordsmith, поставка данных и сотрудничество с MLB Advanced Media и Minor League Baseball. Количество: 1. Дата публикации: 30 июня 2016 года.

5. Статистика футбольных и баскетбольных матчей на сайте спортивного издания Sports.ru. Публикации на русском языке за 2017 и 2018 гг. Количество: 3.

6. Тексты Los Angeles Times о землетрясениях. Сгенерированы алгоритмом Quakebot на английском языке в 2017 и 2018 гг. Количество: 2. Источник данных: сайт Геологической службы США.



3.3 Второй этап. Жанр, структура, актуальность

Проведем сравнительный анализ текстов, сгруппировав их по темам: экономика и финансы, спорт и чрезвычайные ситуации.

Выборка публикаций на тему финансов преобладает в количественном соотношении. В силу того, что цель магистерской диссертации - подготовить рекомендации по усовершенствованию алгоритмов генерации русскоязычных текстов, а из перечисленных медиа только алгоритм ТАСС генерирует полноценные заметки, в приоритете анализ материалов агентства и их сравнительный анализ с публикациями зарубежных изданий на аналогичную тему.

Финансы и экономика. Жанр, актуальность. В данной категории представлены информационные материалы ТАСС, Associated Press и Forbes. По ряду критериев они отнесены к жанру заметка: в основе текста - факт или событие, изложение точное, ясное, краткое, в первом абзаце даны ответы на вопросы: что произошло? где? когда? Заметки носят новостной характер: тексты опубликованы в течение нескольких минут после обновления данных в базах источников, иными словами, сразу после того, как произошло событие. В момент публикации материалы актуальны, однако такого рода информация в скором времени перейдет из категории «новость» в категорию «архив».

Структура. Все тексты содержат заголовок, лид и основную часть, в которой более подробно описано событие, послужившее информационным поводом. Для заметок Forbes и Associated Press также характерно наличие дополнительной информации о компании, квартальные результаты которой представлены в публикации. Размещается в заключительном абзаце новости.

Заметны различия в стиле изложения: в текстах ТАСС даны краткие комментарии к финансовым показателям, в Forbes и, в особенности, в Associated Press идет повествование, что по уровню ближе к текстам журналистов.

При анализе публикаций четко прослеживается шаблонность в материалах ТАСС и Forbes - это связано с повторяющимися конструкциями предложений и единой структурой. Рассмотрим более подробно.

ТАСС. Пять из 18 текстов информационного агентства имеют заголовок: «Курс доллара на Московской бирже снизился до Х рубля», еще три: «Курс доллара на Московской бирже ГЛАГОЛ (снизился/вырос) до Х руб./рубля, евро - до Y руб./рубля», встречаются заголовки, отражающие сразу два события: «Курс евро ГЛАГОЛ (превысил) X рублей впервые с ДАТА» Курс евро превысил 70 рублей впервые с 30 августа // ТАСС. 2018. URL: http://tass.ru/ekonomika/4727402 (дата обращения: 10.05.2018). .

Шаблон основной части построен по аналогичному принципу: имеется текст объемом от двух до четырех абзацев с переменными, на место которых по итогам обработки данных встают слова и значения. В частности, различие заметок: «Курс доллара на Московской бирже снизился до 58,69 рубля» Курс доллара на Московской бирже снизился до 58,69 рубля // ТАСС. 2017. URL: http://tass.ru/ekonomika/4830462 (дата обращения: 10.05.2018). от 21.12.2017 и «Курс доллара на Московской бирже снизился до 57,7 рубля» Курс доллара на Московской бирже снизился до 57,7 рубля // ТАСС. 2017. URL: http://tass.ru/ekonomika/4848889 (дата обращения: 10.05.2018). от 28.12.2017 лишь в показателях курсов валют, текст заголовка и основной части полностью совпадает.

В работе алгоритма ТАСС не менее четырех шаблонов. В некоторых публикациях прослеживается соавторство робота и журналиста. В частности, заметка сгенерирована по шаблону, о котором шла речь в предыдущем абзаце, однако в тексте появляются уточняющие конструкции, вводные слова и проч. Пример: ссылка на источник «свидетельствуют данные торгов», сопоставление «в то же время…» Курс евро на Московской бирже опустился ниже 69 рублей // ТАСС. 2018. URL: http://tass.ru/ekonomika/4894553 (дата обращения: 10.05.2018). . Также встречаются публикации с сокращенным обозначением валюты «руб.» и «коп.», что связано с нарушением морфологических норм при генерации текста. В частности, допускались ошибки в склонении существительных «рубль» и «копейка», после чего алгоритм был доработан. К некоторым заметкам прикреплены изображения, что также указывает на работу редактора.

Существенно отличается заметка журналиста Индексы Мосбиржи и РТС по итогам торгов выросли на 0,5-3% вслед за нефтью. Указ. соч. от текстов роботов. Источник данных тот же - Московская биржа, однако помимо изложения фактов, автор проводит сравнение, объясняет причины изменения показателей и добавляет комментарий эксперта. Объем публикации вдвое больше, чем размер текста алгоритма.

Forbes. Заметки издания, вошедшие в выборку для анализа, были написаны значительно раньше, чем в ТАСС, однако не уступают по качеству. Тексты сгенерированы на основе данных квартальных финансовых отчетов компаний.

В отличие от российского информационного агентства, на сайте Forbes новости, имеющие идентичную структуру, опубликованы с разными заголовками, при этом тексты первого абзаца полностью совпадают, а финансовые и статистические показатели остаются прежними на протяжении всей заметки, несмотря на то, что материалы опубликованы с разницей в полтора месяца. Уникальность текстов лишь в некоторых лексических единицах, выбранных алгоритмом, исходя из контекста. Такова структура шаблона-синонимайзера. В качестве примера служат тексты о J.M. Smucker Company, написанные роботом-журналистом 31 августа Narrative Science. J.M. Smucker EPS expectations Down over past month // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/08/31/j-m-smucker-eps-expectations-down-over-past-month-2/#60a72587566e (дата обращения: 10.05.2018). и 12 октября Narrative Science. EPS Estimates Down for J.M. Smucker in past month // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/10/12/eps-estimates-down-for-j-m-smucker-in-past-month/1#717a557a7595 (дата обращения: 10.05.2018). 2015 года. При прочтении заметок видим замену steady earnings на profitable, revenue decrease на drop in revenue, snapped a streak на broke и т.д.

Публикации о компаниях FLIR Systems Narrative Science. Earnings for FLIR Systems projected to rise // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/earnings-for-flir-systems-projected-to-rise/#44ea8adc3ded (дата обращения: 10.05.2018). , DTE Energy Narrative Science. DTE Energy Earnings projected to increase // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/dte-energy-earnings-projected-to-increase/#342726c3f4a1 (дата обращения: 10.05.2018). и Xerox Narrative Science. Xerox profit expected to slip // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/xerox-profit-expected-to-slip/#634c5f552a57 (дата обращения: 10.05.2018). представляют собой расширенную заметку, состоящую из пяти абзацев с лидом, анализом показателей и справочной информацией о компании. Помимо замены лексических единиц, наблюдается корректировка числовых значений и перефразирование предложений за счет изменения порядка слов и употребления синонимов. Сравним фрагмент текста о FLIR Systems: «Over the last four quarters, the company has seen an average of 41% year-over-year growth in income. The biggest rise came in the fourth quarter, with income growing more than twofold from the year-ago quarter», отрывок из заметки о DTE Energy: «Over the last four quarters, the company has seen its income grow by an average of 65% year-over-year. The more than twofold increase in the fourth quarter was the biggest rise», а также о компании Xerox: «Over the last four quarters, the company saw a year-over-year drop in revenue by an average of 12%. The biggest fall was in the fourth quarter, when it fell 27% from the year-earlier quarter». К слову, дата и время публикации материалов на сайте Forbes полностью совпадают.

Associated Press. Сходство с предыдущими примерами - стиль изложения: сухой текст, представляющий собой констатацию фактов без выявления причинно-следственных связей. Основное отличие в большем разнообразии лексических конструкций и синонимов, по которым нечетко очерчивается структура шаблон. Похожими представляются заметки о доходах ConocoPhilips во втором квартале 2016 года Automated Insights. ConocoPhilips reports 2Q loss // Associated Press. 2016. URL: https://apnews.com/f8e03356edd801639f6394afeb6aa1ff/ConocoPhillips-reports-2Q-loss (дата обращения: 10.05.2018). и DuPont за аналогичный период 2017 Automated Insights. DuPont beats Street 2Q forecasts // Associated Press. 2017. URL: https://apnews.com/4487adc04fc3a83a74994d54bc9cb865/DuPont-beats-Street-2Q-forecasts (дата обращения: 10.05.2018). .

Спорт. Жанр, актуальность. В выборке представлены публикации двух средств массовой информации, алгоритмы которых генерируют заголовки, статистику матчей и заметки. Тексты актуальны для узкого круга: болельщиков определенных команд и читателей, интересующихся спортивными новостями. В частности, материалы Associated Press посвящены результатам матчей низшей бейсбольной лиги (Minor League Baseball).

Структура. В данном случае публикации роботов-журналистов имеют дифференцированную структуру основной части и сходство в заголовках, содержащих счет матча. Рассмотрим материалы более подробно.

Sports.ru. В текущей ситуации спортивному СМИ выгоднее принять в штат нового сотрудника, чем заниматься разработкой алгоритма автоматической генерации текстов. Это связано с узкой направленностью издания, меньшей аудиторией по сравнению с информационными агентствами и высокими затратами на разработку, тестирование и поддержание работы софта, о чем говорилось в первой главе магистерской диссертации.

В Sport.ru развивают автоматическую генерацию заголовков и публикацию статистики матчей, состоящую из заголовка, лида и количественных показателей. В частности, в первом примере Аякс Голландия - Лион Франция // Sports.ru. 2017. URL: https://www.sports.ru/football/1050900793.html (дата обращения: 10.05.2018). содержатся сведения о футбольной схватке между командами Франции и Голландии. В заголовок вынесен итоговый результат матча в рамках полуфинала Лиги Европы, который послужил информационным поводом. В публикации перечислены авторы голов в хронологическом порядке, представлены составы команд с гиперссылкой на карточку каждого игрока, созданную редакцией издания, названы имена футболистов, получивших предупреждения, указаны время и место проведения матча. Аналогична структура справки о результатах игры клубов «Сельта» и «Манчестер Юнайтед», опубликованной по этой же ссылке.

Третья публикация посвящена результатам игры команд «Бостон» и «Филадельфия» в рамках плей-офф НБА НБА. Плей-офф. «Бостон» победил «Филадельфию» и вышел в финал конференции // Sports.ru. 2018. URL: https://www.sports.ru/basketball/1063009088.html (дата обращения: 10.05.2018). . В заголовке содержится новость о победе баскетболистов «Бостона», по сравнению с предыдущим примером лид содержит более подробную информацию: ответы на вопросы что произошло? где? когда? и каков следующий этап. Также перечислены фамилии спортсменов от обеих команд с гиперссылками на их карточки, и прикреплен видеообзор схватки (вероятно, его добавил редактор сайта).

Associated Press. Структуру заметки, вошедшей в коллекцию текстов для исследования, составляют заголовок, лид и основная часть Automated Insights. Alvarado, Mercedes lead Delmarva to 6-0 win over Greensboro // Associated Press. 2016. URL: https://apnews.com/f49641ccbe85e5cad72928191d977c87 (дата обращения: 10.05.2018). . Стиль изложения повествовательный. Новость о бейсболе, сгенерированная алгоритмом Wordsmith (Automated Insights), написана более «живым» языком, чем заметки, посвященные доходам компаний. Заголовок содержит информационный повод - сообщение о победе команды, а также счет матча. В основной части текста выделены ключевые моменты и игроки. В финале заметки содержится дополнительная информация о бейсболистах и спортивном клубе.

Чрезвычайные происшествия. Жанр, актуальность. В заключительную категорию коллекции текстов вошли новости о землетрясениях, сгенерированные алгоритмом Quakebot для газеты Los Angeles Times.

Это заметки, жанр определен по ряду критериев: в заголовке содержится информационный повод, в лиде - ответы на вопросы что произошло? где? когда? Объем стандартный - четыре абзаца. Актуальность новостей носит географический характер: материал будет полезен тем, кто проживает или временно находится на территории Калифорнии.

Структура. В анализируемых текстах, опубликованных 7 июня 2017 Quakebot. Earthquake: 3.5 quake strikes near Cabazon, Calif. // Los Angeles Times. 2017. URL: http://www.latimes.com/local/lanow/la-me-earthquakesa-earthquake-35-quake-strikes-near-cabazon-calif-9v7z-story.html (дата обращения: 10.05.2018). и 30 января Quakebot. Earthquake: 3.2 quake strikes near Teakettle Junction, Calif. // Los Angeles Times. 2017. URL: http://www.latimes.com/local/lanow/la-me-earthquakesa-earthquake-32-quake-strikes-near-teakettle-junction-calif-une4-story.html (дата обращения: 10.05.2018). 2018 года, применяется шаблон-вставка. Заметки имеют идентичную структуру заголовка и основной части с заменой количественных показателей, дней недели, географических наименований. В двух первых абзацах «сухо» отражены факты, третий абзац представляет собой сводную информацию за десять дней до землетрясения. Финальный, четвертый, абзац - это ссылка на источник данных.

3.4 Морфологический анализ текстов

Морфологический анализ выполнен в четыре этапа с применением программного кода на языке Python 3, написанного на основе материалов дисциплины «Текстовый анализ» в рамках образовательной программы «Журналистика данных» НИУ «ВШЭ». Фрагменты кода на примере анализа одного текста прикреплены к магистерской диссертации в качестве приложения.

Первый этап. С помощью библиотеки NLTK (Natural Language Toolkit) определены 20 наиболее часто встречающихся словоформ в анализируемом тексте (Приложение 1). Запустив в работу морфологический анализатор Pymorphy2, произведена очистка списка от служебных частей речи и других лексических единиц, не несущих смысловую нагрузку, - стоп-слов (Приложение 2). Результат выведен на экран в виде списка.

Второй этап. Выполнена следующая задача - лемматизация (приведение лексических единиц к исходной форме) с помощью морфологического анализатора pymystem3 (Приложение 3).

Третий этап. Определены части речи словоформ и их грамматические признаки (Приложение 4). Расшифровка граммем - по ссылке Расшифровка граммем // Яндекс. URL: https://tech.yandex.ru/mystem/doc/grammemes-values-docpage/ (дата обращения: 10.05.2018). .

Четвертый этап. Выявление частоты употребления определенных частей речи в тексте (Приложение 5). Построение круговой диаграммы. Использование пакета инструментов Excel.

Процесс анализа текстов подробно описан на примере двух заметок - русскоязычной и англоязычной.

Текст №1: «Курс доллара на Московской бирже снизился до 58,69 рубля» Курс доллара на Московской бирже снизился до 58,69 рубля. Указ. соч.. При выявлении 20 наиболее популярных словоформ, получаем список (в скобках указаны словоформа и частота ее употребления):

Рис. 1. Наиболее частотные словоформы в Тексте №1

Так как в список вошли единицы, не несущие смысловую нагрузку, добавим русскоязычный словарь стоп-слов. Выведем на экран десять наиболее часто встречающихся словоформ.



Рис. 2. Список наиболее частотных лексических единиц без стоп-слов

Проведем лемматизацию списка лексических единиц, представленного на рисунке выше.

Рис. 3. Лемматизация

Определим части речи и грамматические признаки лексических единиц, встречающихся в Тексте №1. Так как на выходе получаем детальную информацию о каждой словоформе, продемонстрируем только фрагмент вывода.

Рис. 4. Части речи и грамматические признаки



Обозначения на Рисунке 4. Части речи: noun - существительное, prep - предлог, adjf - прилагательное, verb - глагол. Грамматические признаки: inan - неодушевленность, masc sing - единственное число, nomn - именительный падеж, gent - родительный падеж, datv - дательный падеж, loct - предложный падеж (местный), past - прошедшее время, indc - изъявительное наклонение.

Рис. 5. Части речи и частота их употребления

Рис. 6. Частотное распределение частей речи в Тексте №1

На заключительном этапе морфологического анализа выявим частоту употребления частей речи.



На следующем рисунке представлено распределение частоты употребления той или иной части речи в виде круговой диаграммы.

Визуализация выполнена с помощью инструментов Excel.

Результаты анализа демонстрируют, что основную часть шаблона заметки составляют существительные, числовые значения и предлоги.

Текст №2. Проведем аналогичную процедуру для англоязычного текста, опубликованного на сайте журнала Forbes J.M. Smucker EPS expectations down over past month. Op. cit.. Выявим 20 словоформ, которые встречаются в заметке наиболее часто.

Рис. 7. Наиболее частотные словоформы в Тексте №2

Затем очистим список от стоп-слов и выведем на экран десять наиболее популярных показателей.

Рис. 8. Наиболее частотные словоформы без стоп-слов

Также представим частотное распределением словоформ в виде графика распределения.



Рис. 9. График распределения словоформ без стоп-слов

Лемматизируем полученные словоформы с помощью сервиса Pullenti.ru. После предыдущего этапа обработки текста видны незначительные изменения: существительное множественного числа преобразовано в форму единственного, сложное слово (year-over-year) разделено на основы.

Рис. 10. Лемматизация

Визуализируем полученный результат в виде круговой диаграммы.



Рис. 11. Частотное распределение частей речи

С помощью морфологического анализа заметок на русском и английском языках нам удалось выявить сходства и различия. В обоих случаях употребление имени существительного доминирует в количественном соотношении. Глаголы чаще встречаются в текстах на английском языке, что очевидно ввиду морфологических особенностей языка. В русскоязычных текстах весьма распространено склонение имен существительных и изменение лемм, что не характерно для публикаций на английском языке. Отметим, что данный фактор значительно влияет на сложность разработки алгоритма автоматической обработки текстов.

3.5 Синтаксический анализ текстов

В англоязычных текстах применяются более простые синтаксические конструкции. Предложения двусоставные, однако зачастую их длина вдвое меньше, чем в публикациях на русском языке, что упрощает работу алгоритма (на морфологическом уровне). Реже встречаются сложносочиненные предложения или сложноподчиненные, состоящие из коротких двусоставных предложений. В то же время текст на русском языке может содержать большое количество второстепенных членов предложения. Пример: «Курс доллара к рублю на Московской бирже на открытии торгов уменьшился по сравнению с уровнем закрытия предыдущих торгов на 3 копейки и достиг отметки в 58,69 рубля». В данном случае алгоритму необходимо заменить глагол и числовые показатели, так как это фрагмент шаблона. При необходимости замены существительного в аналогичном предложении могут возникнуть ошибки при изменении флексии.

3.6 Рекомендации по усовершенствованию алгоритмов автоматической генерации русскоязычных текстов

В ходе исследования выявлены функции и направления работы алгоритмов автоматической генерации текстов, реализация которых осуществлена в зарубежных СМИ и возможна в российских медиа. Ниже сформирован перечень рекомендаций по усовершенствованию роботов, создающих тексты на русском языке.

1. Расширение списка тем для автоматической генерации текстов. Сегодня алгоритмы, разработанные в редакциях российских медиа, создают заметки о колебаниях курсов валют и собирают статистику спортивных матчей. Развитие журналистики данных, регулярная публикация новых датасетов в открытом доступе (Порталы открытых данных Правительства Москвы, Российской Федерации и др.), усовершенствование инструментов выгрузки данных через API позволяют находить новые темы. Например, криминальная статистика, чрезвычайные ситуации, медицинские показатели, распределение бюджетных средств, общедоступные данные из социальных сетей и т.д.

2. Создание большего количества шаблонов для одной темы. Например, увеличить число вариаций до десяти, что позволит раскрыть новость с разных сторон; оперировать большим количеством фактов, менять объем текса, разнообразить текущую жанровую классификацию.

3. Обучение алгоритма работе с архивами. Это позволит автоматически подгружать информацию о событии, ранее появившуюся на сайте издания.

4. Параллельная разработка и регулярное обновление библиотеки справочной информации внутри редакции. Она станет источником информации о компаниях, государствах, видах спорта, известных личностях и проч., на что будет опираться алгоритм при генерации текстов.

5. Формирование наборов данных внутри редакции. Речь идет о создании собственных баз данных (финансы, спортивная статистика, погода) для повышения уникальности заметок робота-журналиста.

6. Обучение алгоритма классификации текстов и работе с тегами для формирования рубрик, установления связи между публикациями.

7. На морфологическом уровне: разработка более сложных шаблонов, сопровождающаяся формированием обновленного набора морфологических правил. Регулярное обучение алгоритма словообразованию, изменению флексий на примере корпуса русскоязычных текстов. Формирование рабочей группы, включающей в себя разработчиков, лингвистов, журналистов.

8. На синтаксическом уровне: раздробление сложного предложения на простые во избежание ошибок на морфологическом уровне (согласование словоформ).

9. На лексическом уровне: обновление словаря, так как в ходе экономических, исторических и культурных процессов язык обогащается новыми словами (чаще - заимствованиями) или отдельные лексические единицы приобретают новые формы.

10. Сотрудничество с компаниями, специализирующимися на разработке программного обеспечения и алгоритмов. Это позволит расширить инструментарий и пополнить рабочую группу человеческими ресурсами для создания и усовершенствования роботов-журналистов.



Заключение

В данной работе проведен анализ научных работ, посвященных феномену автоматизированной журналистики (Грефе А., Дорр К., Иванов Д., Колиска М. и др.).

Описаны этапы развития направления в различных странах и особенности применения технологий генерации текстов в редакциях СМИ (Los Angeles Times, Forbes, Associated Press, The Financial News, Sports.ru, ТАСС).

Выделены математические модели и методы, на основе которых формируются алгоритмы.

Выявлены основные типы роботов-журналистов (шаблонные и нейросетевые).

Проведен типологический анализ языков флективного синтетического и флективного аналитического типа (русский, английский, немецкий).

Определены лингвистические особенности, влияющие на развитие автоматизированной журналистики на морфологическом, синтаксическом, семантическом уровнях.

Проведен сравнительный анализ публикаций роботов-журналистов с целью определения жанра, подробного описания структуры текста, выявления синтаксических особенностей.

Проведен морфологический анализ текстов на русском и английском языках с применением программного кода на языке Python 3 и специального сервиса.

Результаты анализа визуализированы с помощью инструментов Excel и программного кода.

В соответствии с целью магистерской диссертации, сформирован перечень рекомендаций усовершенствования роботов-журналистов.

В ходе исследования подтверждена гипотеза о влиянии типа языка на трудоемкость разработки алгоритма автоматической генерации текстов.

В дальнейшем возможны проведение исследования с целью глубокого синтаксического анализа публикаций роботов-журналистов, организация глубинных интервью с экспертами, фокус-групп по выявлению восприятия русскоязычных заметок, сгенерированных роботами, формирование методологической базы для разработки алгоритма автоматической генерации текстов.



Список использованных источников

Статьи и научная литература:

1. Анохина С.П., Кострова О.А. Сравнительная типология русского и немецкого языков: учебное пособие // Флинта-наука. 2012. С. 208. URL: http://olgakostrova.narod.ru/books/CompTypology/CompTypology.pdf (дата обращения: 03.05.2018).

2. Аракин В.Д. Типология языков и проблема методического прогнозирования // Москва. «Высшая школа». 1989. С. 157. URL: https://www.booksite.ru/fulltext/arakin1/text.pdf (дата обращения: 06.05.2018).

3. Большакова Е.И. Автоматическая обработка текстов: задачи, подходы, ресурсы // Материалы Летней школы по АОТиАД. 2017. URL: https://www.hse.ru/data/2017/07/24/1173868389/%D0%9A%D0%9B_%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_%D0%9F%D0%BE%D0%B4%D1%85%D0%BE%D0%B4%D1%8B_%D0%A0%D0%B5%D1%81%D1%83%D1%80%D1%81%D1%8B.pdf (дата обращения: 03.05.2018).

4. Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие // М.: МИЭМ. 2011. URL: https://www.hse.ru/data/2012/04/05/1251263483/%D0%BF%D0%BE%D1%81%D0%BE%D0%B1%D0%B8%D0%B5%20%D1%88%D0%BA%D0%BE%D0%BB%D0%B0%20%D0%BF%D0%BE%20%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B9%20%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B5%20-%20%D0%BA%D0%BE%D0%BF%D0%B8%D1%8F.pdf (дата обращения: 03.05.2018).

5. Власова Н.А. Подход к автоматическому извлечению информации о назначениях и отставках лиц (на материале новостных сообщений) // RCDL. 2012. URL: https://www.semanticscholar.org/search?q=%D0%BC%D0%BE%D1%80%D1%84%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9%20%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7&sort=relevance&page=3 (дата обращения: 01.05.2018).

6. Замков А.В., Крашенинникова М.А., Лукина М.М., Цынарёва Н.А. Роботизированная журналистика: от научного дискурса к журналистскому образованию // Медиаскоп. 2017. Вып.2. URL: http://www.mediascope.ru/2295 (дата обращения: 14.11.2017).

7. Иванов А.Д. Роботизированная журналистика и первые алгоритмы на службе редакций международных СМИ // Знак: проблемное поле медиаобразования. 2015. URL: https://cyberleninka.ru/article/n/robotizirovannaya-zhurnalistika-ipervye-algoritmy-na-sluzhbe-redaktsiy-mezhdunarodnyh-smi (дата обращения: 13.11.2017).

8. Митина О.В., Евдокименко А.С. Методы анализа текста: методологические основания и программная реализация // Вестник Южно-Уральского государственного университета. Серия психология. № 40 (216). 2010. Стр. 29-38. URL: https://cyberleninka.ru/article/v/metody-analiza-teksta-metodologicheskie-osnovaniya-i-programmnaya-realizatsiya.

9. Таргонская М.В. Автоматизированная журналистика в спортивной сфере: курсовая работа // НИУ «ВШЭ». Москва. 2017.

10. Тертычный А.А. Жанры периодической печати: учебное пособие. М.: Аспект Пресс, 2000. URL: http://evartist.narod.ru/text2/01.htm (дата обращения: 30.04.2018).

11. Филатова Т.В. Применение нейронных сетей для аппроксимации данных // Вестник Томского государственного университета. 2004. С. 121-125. URL: https://cyberleninka.ru/article/v/primenenie-neyronnyh-setey-dlya-approksimatsii-dannyh (дата обращения: 14.03.2018).

12. Allport G.W. The nature of prejudice. Cambridge, MA: Addison-Wesley. 1954.

13. Anderson C.W. Towards a sociology of computational and algorithmic journalism // New Media & Society. 2013. №15 (7), P. 1005-1021.

14. Arjen V.D. The algorithms behind the headlines: How machine-written news redefines the core skills oh human journalists // Journalism Practice. 2012. №6 (5-6). P. 648-658.

15. Caswell D., Dцrr K. Automated journalism 2.0: event-driven narratives // Journalism Practice. 2017. P. 5.

16. Clerwall C. Enter the robot journalist // Journalism Practice. 2014. №8 (5). P. 519-531.

17. Deemter K.V., Krahmer E., Theune M. Real versus template-based natural language generation: a false opposition? // Computational Linguistics. 2005. № 31. P. 15-24.

18. Dereza O.V., Kayutenko D.A., Fenogenova A.S. Automatic morphological analysis for Russian: a comparative study. 2016. URL: https://www.semanticscholar.org/paper/Automatic-Morphological-Analysis-for-Russian%3A-a-dereza/5cf3ebb5d8ad7bb4e9e2a6a32b65adc68f7b3387?tab=abstract (дата обращения: 01.05.2018).

19. Deuze M. What is journalism? Professional identity and ideology of journalists reconsidered // Journalism. 2005. № 6(4). 442-464.

20. Diakopoulos N., Koliska M. Algorithmic transparency in the news media // Digital Journalism. 2016. P. 1-20.

21. Dцrr K. Mapping the field of algorithmic journalism // Digital Journalism. 2015. С. 700-722. URL: https://www.tandfonline.com/doi/full/10.1080/21670811.2015.1096748 (дата обращения: 23.02.2018).

22. Fanta A. Putting Europe's robots on the map: automated journalism in news agencies // Reuters Institute Fellow Paper. 2017. URL: https://reutersinstitute.politics.ox.ac.uk/our-research/putting-europes-robots-map-automated-journalism-news-agencies (дата обращения: 09.04.2018).

23. Flanagin A., Metzger M.J. The role of site features, user attributes, and information verification behaviors on the perceived credibility of web-based information // New Media and Society. 2007. №9 (2). P. 319-342.

24. Fogg B.J., Soohoo C., Danielson D.R., Tauber E.R. Stanford J., Marable L. How do users evaluate the credibility of web sites? A study with over // Proceedings of the 2003 Conference on Designing for user experiences. New York: ACM. 2003. P. 1-15.

25. Graefe A. Guide to automated journalism. 2016. URL: https://towcenter.org/research/guide-to-automated-journalism/ (дата обращения: 13.11.2017).

26. Graefe A., Haim M., Brosius H.-B., Haarmann B. Perception of automated computer-generated news: credibility, expertise, and readability // Journalism. 2016. URL: https://www.researchgate.net/publication/289529002_Perception_of_Automated_Computer-Generated_News_Credibility_Expertise_and_Readability (дата обращения: 14.03.2018).

27. Jung J., Song H., Kim Y., Im H., Oh S. Intrusion of software robots into journalism: the public's and journalist's perceptions of news written by algorithms and human journalists // Computers in Human Behavior. 2017. №71. P. 291-298.

28. McRoy S.W., Channarukul S., Ali S.S. An augmented template-based approach to text realization // Natural Language Engineering. 2003. №9. P. 381-420.

29. Newhagen J., Nass C. Differential criteria for evaluating credibility of newspapers and TV news // Journalism Quarterly. 1989. №66. P. 277-284.

30. Parasie S. Data-driven revelation? // Digital Journalism. 2015. №3 (3). P. 364-380.

31. Pratt-Hartmann I. Computational complexity in natural language // Handbook of computational linguistics and natural language processing. Oxford: Wiley-Blackwell. 2010. P. 43-73.

32. Reiter E. Natural language generation // Handbook of computational linguistics and natural language processing. Oxford: Wiley-Blackwell. 2010. P. 574-598.

33. Reiter E., Dale R. Building natural language generation systems // Cambridge: Cambridge University Press. 2000.

34. Slater M.D., Rouner D. How message evaluation and source attributes may influence credibility assessment and belief change // Journalism & Mass Communication Quarterly. 1996. №73 (4). P. 974-991.

35. Sundar S. Exploring receivers' criteria for perception of print and online news // Journalism & Mass Communication Quarterly. 1999. №76 (2). P. 373-386.

36. Thurman N., Dцrr K., Kunert J. When reporters get hands-on with robo-writing: professionals consider automated journalism's capabilities and consequences // Digital Journalism. 2017. URL: https://www.tandfonline.com/doi/full/10.1080/21670811.2017.1289819 (дата обращения: 29.03.2018).

37. Van der Kaa H.A.J., Krahmer E.J. Journalist versus news consumer: The perceived credibility of machine written news // Proceedings of the Computation + Journalism conference New York. 2014.

38. Westerwick A. Effects of sponsorship, web site design, and Google ranking on the credibility of online information // Journal of computer-mediated communication. 2013. №18 (2). P. 194-211.

39. Young M.L., Hermida A. From Mr. and Mrs. Outlier to central tendencies // Digital Journalism. 2015. №3 (3). P. 381-397.

Источники:

1. Аякс Голландия - Лион Франция // Sports.ru. 2017. URL: https://www.sports.ru/football/1050900793.html (дата обращения: 10.05.2018).

2. Биргер П. Я не верю в роботов-журналистов, но знаю, что часть журналистской работы могут выполнять роботы // Republic: онлайн-журнал. 2010. URL: https://republic.ru/future/ya_ne_veryu_v_robotov_zhurnalistov_no_znayu_chto-397142.xhtml (дата обращения: 15.11.2017).

3. Е. Черняк, Д. Ильвовский. Материалы лекции по морфологическому анализу неструктурированных данных // НИУ ВШЭ. 2017.

4. Индексы Мосбиржи и РТС по итогам торгов выросли на 0,5-3% вслед за нефтью // ТАСС. 2018. URL: http://tass.ru/ekonomika/5191004 (дата обращения: 10.05.2018).

5. Индексы Мосбиржи и РТС по итогам торгов выросли на 0,5-3% вслед за нефтью. Указ. соч.

6. Крёмер Ж. Автоматизированная журналистика // Mediakritika.by: информационно-аналитический ресурс. 2014. URL: http://mediakritika.by/article/2254/avtomatizirovannaya-zhurnalistika (дата обращения: 15.11.2017).

7. Курс доллара к рублю на Мосбирже опустился ниже 58 рублей впервые со 2 ноября // ТАСС. 2017. URL: http://tass.ru/ekonomika/4841301 (дата обращения: 10.05.2018).

8. Курс доллара на Мосбирже снизился до 56,27 рубля // ТАСС. 2018. URL: http://tass.ru/ekonomika/4913525 (дата обращения: 10.05.2018).

9. Курс доллара на Московской бирже снизился до 57,7 рубля // ТАСС. 2017. URL: http://tass.ru/ekonomika/4848889 (дата обращения: 10.05.2018).

10. Курс доллара на Московской бирже снизился до 58,69 рубля // ТАСС. 2017. URL: http://tass.ru/ekonomika/4830462 (дата обращения: 10.05.2018).

11. Курс доллара опустился до 56,31 рубля // ТАСС. 2018. URL: http://tass.ru/ekonomika/4897577 (дата обращения: 10.05.2018).

12. Курс доллара снизился на 2 копейки до 55,91 рубля // ТАСС. 2018. URL: http://tass.ru/ekonomika/4904851 (дата обращения: 10.05.2018).

13. Курс евро на Московской бирже опустился ниже 69 рублей // ТАСС. 2018. URL: http://tass.ru/ekonomika/4894553 (дата обращения: 10.05.2018).

14. Курс евро на Московской бирже превысил 70 рублей впервые с декабря 2017 года // ТАСС. 2018. URL: http://tass.ru/ekonomika/4910257 (дата обращения: 10.05.2018).

15. Курс евро превысил 70 рублей впервые с 30 августа // ТАСС. 2018. URL: http://tass.ru/ekonomika/4727402 (дата обращения: 10.05.2018).

16. Мирошниченко А. Робот-журналист: плюсы, минусы, подводные камни // Журналист: журн. 2017. URL: http://jrnlst.ru/robojournalism (дата обращения: 20.12.2017).

17. Молотилин Т. Азбука ИИ: «Рекуррентные нейросети» // N + 1: интернет-издание. 2016. URL: https://nplus1.ru/material/2016/11/04/recurrent-networks (дата обращения: 26.12.2017).

18. Молотилин Т. На выставке Ван Гога // N + 1: интернет-издание. 2016. URL: https://nplus1.ru/material/2016/05/10/likemonet (дата обращения: 16.12.2017).

19. НБА. Плей-офф. «Бостон» победил «Филадельфию» и вышел в финал конференции // Sports.ru. 2018. URL: https://www.sports.ru/basketball/1063009088.html (дата обращения: 10.05.2018).

20. Расшифровка граммем // Яндекс. URL: https://tech.yandex.ru/mystem/doc/grammemes-values-docpage/ (дата обращения: 10.05.2018).

21. ЦБ повысил на 29 декабря курс доллара до 57,63 рубля // ТАСС. 2017. URL: http://tass.ru/ekonomika/4849517 (дата обращения: 12.05.2018).

22. Щуров И.В. Компьютеры научились понимать тексты лучше людей? Не все так просто! // N + 1: интернет-издание. 2018. URL: https://nplus1.ru/blog/2018/01/17/reading-ai-antihype (дата обращения: 21.02.2018).

23. Яндекс открыл проект для медиа // Новости компании. 2015. URL: https://yandex.ru/company/services_news/2015/1110 (дата обращения: 13.11.2017).

24. Automated Insights. Alvarado, Mercedes lead Delmarva to 6-0 win over Greensboro // Associated Press. 2016. URL: https://apnews.com/f49641ccbe85e5cad72928191d977c87 (дата обращения: 10.05.2018).

25. Automated Insights. ConocoPhilips reports 2Q loss // Associated Press. 2016. URL: https://apnews.com/f8e03356edd801639f6394afeb6aa1ff/ConocoPhillips-reports-2Q-loss (дата обращения: 10.05.2018).

26. Automated Insights. DuPont beats Street 2Q forecasts // Associated Press. 2017. URL: https://apnews.com/4487adc04fc3a83a74994d54bc9cb865/DuPont-beats-Street-2Q-forecasts (дата обращения: 10.05.2018).

27. Automated Insights. Twitter posts big numbers in the fourth quarter, shares soar // Associated Press. 2018. URL: https://apnews.com/93e52c4108b68b8cfb67eeb584781639/Twitter-posts-big-numbers-in-the-fourth-quarter,-shares-soar (дата обращения: 10.05.2018).

28. Bachman J. Are sportswriters really necessary? // Bloomberg. 2010. URL: https://www.bloomberg.com/news/articles/2010-04-29/are-sportswriters-really-necessary (дата обращения: 25.02.2018).

29. Gani A., Haddou L. Could robots be the journalists of the future? // The Guardian. 2014. URL: https://www.theguardian.com/media/shortcuts/2014/mar/16/could-robots-be-journalist-of-future (дата обращения: 25.02.2018).

30. Lee T.-h. Will robot reporters replace humans? // The Korea Observer. 2016. URL: http://www.koreaobserver.com/will-robot-reporters-replace-humans-63057/ (дата обращения: 02.03.2018).

31. Miller R. AP's “robot journalist” are writing their own stories now // The Verge. 2015. URL: https://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting (дата обращения: 25.02.2018).

32. Miller R. The company behind the AP's “robot journalist” is opening up its technology for everyone // The Verge. 2015. URL: https://www.theverge.com/2015/10/20/9572975/automated-insights-wordsmith-natural-language (дата обращения: 25.02.2018).

33. Narrative Science. DTE Energy Earnings projected to increase // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/dte-energy-earnings-projected-to-increase/#342726c3f4a1 (дата обращения: 10.05.2018).

34. Narrative Science. Forbes earning preview: Vodafone // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/forbes-earnings-preview-vodafone/#5da305f17784 (дата обращения: 09.05.2018).

35. Narrative Science. Earnings for AbbVie projected to rise // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/earnings-for-abbvie-inc-projected-to-rise/#6c3dd39874d0 (дата обращения: 10.05.2018).

36. Narrative Science. Earnings for FLIR Systems projected to rise // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/07/22/earnings-for-flir-systems-projected-to-rise/#44ea8adc3ded (дата обращения: 10.05.2018).

37. Narrative Science. EPS Estimates Down for J.M. Smucker in past month // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/10/12/eps-estimates-down-for-j-m-smucker-in-past-month/1#717a557a7595 (дата обращения: 10.05.2018).

38. Narrative Science. J.M. Smucker EPS expectations Down over past month // Forbes. 2015. URL: https://www.forbes.com/sites/narrativescience/2015/08/31/j-m-smucker-eps-expectations-down-over-past-month-2/#60a72587566e (дата обращения: 10.05.2018).

...