Автоматизированный текст в современной российской медиапрактике

Размещено на http://www.allbest.ru/

Автоматизированный текст в современной российской медиапрактике

Мария Крашенинникова

Арина Барабанова

Аннотация

Авторы статьи, проанализировав современные генераторы текста, предприняли попытку выявить их сильные и слабые стороны, понять, как инструменты автоматизации журналистики (в частности, генераторы текста) могут сделать ее качественнее, быстрее и эффективнее. В результате была разработана система критериев оценки качества автоматизированного текста. Она может быть применена СМИ для выбора генераторов текста, которые позволят создавать редакционные материалы, а также для разработки собственных роботизированных инструментов.

Ключевые слова: медиа, автоматизированный текст, критерии, искусственный интеллект, журналистика.

Введение

генератор текст автоматизация журналистский

Актуальность темы настоящего исследования связана с растущим интересом общества к проникновению автоматизированных систем в российскую медиапрактику. В последнее десятилетие крупные российские и зарубежные редакции стали чаще использовать новостных роботов, которые создают автоматизированный текст.

Акцент в статье сделан на российское медиапространство, хотя авторы также изучили и кейсы зарубежных медиасистем, в частности медиасистемы США - одного из самых развитых и крупных рынков и исследовательских центров новостных роботов.

По словам генерального директора ТАСС Сергея Михайлова1, в возглавляемом им агентстве создание новостей частично автоматизировано. Такие новости имеют повторяющиеся сценарии (например, прогнозы погоды, отчеты о прибылях и т.д.). В другом российском новостном агентстве, «Интерфакс», роботы пишут примерно 20% экономической ленты, в частности описывают корпоративную отчетность, статистику и создают обзоры рынков2.

Проблематика проведенного нами исследования связана с автоматизацией журналистской работы и внедрением нейросетей в медиапространство России. Были систематизированы виды лингвистических нейросетей, проанализировано качество автоматизированного текста, применены эмпирические методы, как, например, сравнение текстов, созданных на половину или полностью автоматическим способом (сгенерированные тексты).

Хронологические рамки исследования: 30 января 2015 г. - 1 апреля 2022 г. Начало периода характеризовалось не только ростом научного интереса к лингвистическим нейросетям, используемым в журналистике, но и ростом количества проектов, которые начали заниматься разработкой систем для генерации текста. Конечная рамка исследования была задана субъективно, исходя из возможностей авторов. В будущем исследование планируется продолжить.

Автоматизированный текст: исторический аспект

Прежние системы генерации текста на английском языке могли создавать только предложения (William, Mann, Moore, 1981: 17-29). В 1979 г. исследователь А. Дейви в своей работе «Производственный дискурс» (Davey, 1979) описал использование системной грамматики для генерации комментариев об игре «крестики-нолики». В 1980 г. Д.Д. Макдоналд создал систему MUMBLE, которая, в отличие от других систем, учитывала многие синтаксические ограничения в английском языке (см.: McKeown, 1985). Другой генератор текстов (NIGEL) включал в своем системном фреймворке лингвистически обоснованную грамматику в генерациях. При этом все эти программы не могли автоматически решать вопросы организации текста и выбора контента.

Первые системы генерации текста на русском и других славянских языках стали появляться в начале XXI в. Так, в 2000 г. группа исследователей из России, Германии, Чехии, Болгарии и Великобритании (Kruijff, Teich, Bateman, Kruijff-Korbayovd et al., 2000) описала мультилингвальную систему генерации текста инструкций для программ CAD/CAM (они моделируют объекты в компьютере). Ученые собрали ключевые модули своей системы на основе мультилингвальной грамматической системы KometPenman, написанной на языке программирования Common Lisp. Ученые также загрузили в свой проект существующие лексические и морфологические модули для болгарского, чешского и русского языков. Исследователи использовали для построения грамматики фраз систему NIGEL 1985 г., которая работала с грамматикой английского языка.

В 2017 г. российские исследователи новостной автоматизации (Замков, Крашенинникова, Лукина, Цынарева, 2017) проанализировали то, как искусственный интеллект (ИИ) применяется в журналистике, и предложили включить изучение роботизации в программы журналистского образования. Тогда ученые выявили недостаточный интерес преподавательского сообщества к данной инновации. Вместе с тем отмечалось пристальное внимание российских и зарубежных ученых к внедрению ИИ в журналистскую практику.

В научной среде и в сообществе разработчиков идет активное обсуждение точности термина «искусственный интеллект». Так, в стандарте ГОСТ Р 59276-2020 «Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения» понятие определяется как «комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека»3. Среди технологий ИИ в стандарте названы компьютерное зрение и обработка естественного языка, распознавание и синтез речи.

Сам термин ИИ имеет достаточно неоднозначную оценку в академической среде, о чем пишут А.В. Замков (Замков, 2019) и Р. А. Богачева (Богачева, 2011). В частности, Р.А. Богачева подмечает неточность термина, который пришел к нам из английского языка (ArtificialIntelligence) и является калькой: intelligence переводится как «умение рассуждать разумно», а не как «интеллект», для которого есть аналог intellect. ИИ используется как родовое название, но для большей определенности стоит упоминать вместе с ним уточняющее добавление. Из-за неточности перевода, указывает А.В. Замков, могут формироваться завышенные ожидания от уровня развитости технологий ИИ.

Важно отметить, что «машинный интеллект» и «машинное обучение» не являются синонимами ИИ. Первое понятие определяется как примитивные алгоритмы и устройства - например, боты, динамичные объекты в видеоигре - мобы, автокорректоры текста (Шестерина, Шестерин, 2020). Второе - способность машин думать и учиться, делая ошибки, схожая со способностью человека.

В 2012 г. в статье Б. ван дер Хаака, М. Паркса и М. Кастельса «Будущее журналистики: сетевая журналистика» (van der Haak, Parks, Castells, 2012: 2923-2938) рассматривалась новая идентичность журналиста. Так, с 2008 г. часть привычной для журналистов работы стали делать роботы-краулеры, которые могли собирать новости в Интернете из разных источников и пресс-релизов, а потом их «переписывать». Роботами-краулерами, например, пользовались в Forbes для описания глобальных финансовых рынков. The New York Times смогла автоматизировать создание объявлений о свадьбах благодаря технологии «семантического Web». Авторы статьи прогнозировали, что для роботизированной журналистики более важными станут интерпретация, анализ и качественный рассказ.

В 2016-2019 гг. часть своей работы начали автоматизировать The New York Times, The Guardian, Forbes, Los Angeles Times, BBC и другие медиа. Бот газеты Los Angeles Times Quakebot c 2019 г. мониторит публикации геологического государственного агентства США о землетрясениях с магнитудой от 1.0 и выше и выбирает, о каких ему стоит написать пост в Twitter (Kim, Lee, 2018). Американское новостное агентство Associated Press и журнал Forbes заключили партнерские соглашения с компаниями Automated Insights и Narrative Science, чтобы создавать машинные финансовые отчеты.

Изучение работы русскоязычных систем для генерации

Анализ генераторов, которые находятся в открытом доступе, был проведен авторами статьи по балльной системе, в которой пять - максимальное значение. Критерий оценивался в пять баллов, если в тексте не было связанных с ним ошибок; в четыре - если в тексте обнаруживалось малое (до двух) количество ошибок, и все они не мешали пониманию текста; в три балла, если текст был в целом понятным, но трудночитаемым из-за ошибок (более трех); в два балла, если нарушения по критерию мешали определить тему текста и делали его нечитаемым; в один балл, если генерация была неуспешной, система сгенерировала несуществующие слова.

Анализ проводился по следующим критериям:

многообразие синтаксических конструкций;

логичность речи;

соответствие морфологическим нормам и лексическая сочетаемость;

пунктуация;

соблюдение требований стилистики текста.

После получения экспериментальных генераций и выставления баллов был составлен рейтинг и проведено наиболее корректное сравнение генераторов: в разные системы для генерации текста («Нейропушкин», «Порфирьевич», ruGPT-3) нами был загружен текст, который генераторы должны были продолжить. Таким образом, все сравниваемые объекты были одновременно стандартизированы и имели ряд уникальных характеристик, которые появились после обработки изучаемыми нейросетями трех предложений. Текст о финансовой отчетности компаний написан в публицистическом стиле и типичен для новостей деловых СМИ: «Телекоммуникационная компания Meganetвпервые получила прибыль в размере $300 млрд. по итогам 2021 г. Большую часть прибыли принес новый тариф мобильной связи "Террабайт", его стоимость - 1 тыс. руб. в месяц. В компании сообщают, что его уже оформили более 50 млн. россиян».

В случаях, когда генерации качественно отличались друг от друга, из-за особенностей каждой конкретной нейросети, для анализа выбирались несколько полученных отрывков. Каждый из них оценивался отдельно, а потом высчитывался средний балл по группе текстов одного генератора.

«Нейропушкин»

В данный генератор было введено только первое предложение оригинального текста, т.к. система может на этой основе генерировать не больше двух-трех новых предложений. Ввод более объемного отрывка не предусмотрен. Попытки генерации текста в «Нейропушкине» на основе полных отрывков текста оказались неуспешными.

В системе предусмотрены разные уровни «креативности»: от 0,1 до 2 (с шагом в 0,1). Мы взяли для анализа генерации минимального уровня «креативности» (0,1), среднего (1) и наивысшего (2).

В полученном новостном тексте 0,1 уровня «креативности» синтаксические конструкции достаточно разнообразны (5 баллов). Речь получилась осмысленной, хотя наблюдаются проблемы в единообразии времени, поэтому по критерию «логичности» мы поставили 4 балла. Так, в загруженном тексте речь шла о прошлом, а одно предложение сгенерированного текста резко переключилось на будущее («Выручка компании в 2021 г. должна составить около $4,4 млрд.» вместо «составила»). По критерию «соответствие морфологическим нормам и лексическая сочетаемость» - 5 баллов. Пунктуация в сгенерированных предложениях не ставится автоматически, система повторяет первое загруженное предложение и далее нигде не ставит точку (3 балла). По критерию «соблюдение требований стилистики текста» - 5. Средняя оценка конкретной генерации - 4,4 балла.

В новостном тексте первого уровня «креативности» разнообразие синтаксиса данной генерации мы оценили в 3 балла, т.к. структура предложений была достаточно однообразной (три раза повторяется конструкция с однородными членами). Логичность речи - 2 балла («В течение 21 г. Медопе1 сохраняла свой рост быстрыми и уверенными темпами» - очевидна двусмысленность фразы: в течение «двадцати одного года» или «двадцать первого года», а «добрая слава сотрудников» не подтверждает положительный баланс, в отличие от финансовых показателей). Морфологические нормы и лексическая сочетаемость в этой генерации нарушены («сохраняла свой рост» и «достигла отметок», а не «отметки») - 4 балла. По критерию «пунктуация» - 4 балла (нейросеть повторила пунктуацию за первым предложением и почти всегда ставила точку после предложения, однако в конце сбилась и поставила лишний пробел и открывающую кавычку). По критерию «соблюдение требований стилистики текста» - 4 балла, т.к. в загружаемом отрывке не было оценочных формулировок, какие появились в генерации: «уверенными темпами», «добрую славу». В целом текст не выглядит как газетный (соблюдение стилистики - 3 балла). Средняя оценка - 4 балла.

И, наконец, в новостном тексте второго уровня «креативности» многообразие синтаксических конструкций мы оценили в 2 балла (расположение членов предложения мешает понимать смысл текста). Логичность речи - также 2 («karcena должен показать более высокие прибыть и выручку соответствующими напитками» - продажи напитков могли «формировать» выручку и прибыль, но не «показывать»). Соответствие морфологическим нормам и лексическая сочетаемость - 2 балла (много ошибок: «прибыть» вместо «прибыль», «побросли» вместо «подросли»). Пунктуация - 3 балла (интересно, что причастный оборот выделен правильно, однако потом генератор сбился и невпопад поставил закрывающую кавычку после слова «закусок»). Соблюдение требований стилистики текста при этом находится на высоком уровне - 4 балла. С каждым уровнем «креативности» генератор все дальше уходит от темы. Лучше всего он соблюдает тему и стиль при минимальном уровне «креативности». Средний балл - 2,6.

«Порфирьевич»

Нейросеть «Порфирьевич» была создана в 2019 г. Михаилом Гранкиным на основе нейросети GPT-2 американской компании OpenAI, которая опубликовала часть своего алгоритма в открытом доступе. Архитектура «Порфирьевича» относится к классу NLG (natural language generation). Данная нейросеть была обучена на текстах Ф.М. Достоевского, Л.Н. Толстого, А.С. Пушкина, М.А. Булгакова, Н.В Гоголя и В.О. Пелевина. Автор дал имя нейросети в честь героя романа Пелевина iPhuck X - «полицейско-литературного» робота Порфирия Петровича. У этой нейросети есть несколько режимов для генерации: от одного слова после исходного текста до 60 слов.

В первой генерации могло появиться не более 15 слов. В итоге нейросеть сгенерировала семь слов. По критерию «многообразие синтаксических конструкций» - 5 баллов, при этом сильно страдает логичность речи - 2 балла. Соответствие морфологическим нормам и лексическая сочетаемость - 4 («телефоны с предоплатой», но непонятно, какая услуга предоплачена). Пунктуация - 5 баллов. Соблюдение требований стилистики - 5. Средний балл генерации - 4,2.

Также был изучен и другой новостной отрывок, в котором могли бы быть сгенерированы 60 слов, однако «Порфирьевич» создал только 46 слов. В этом случае мы оценили многообразие синтаксических конструкций в 5 баллов, в полученном абзаце есть разные предложения с придаточными конструкциями, которые не перегружают текст. Логические проблемы созданного текста связаны с тем, что слишком много деталей не объясняется. Поэтому данный критерий мы оценили в 2 балла. Морфологические нормы и лексическая сочетаемость - 5, пунктуация - 5 баллов, единообразие стиля - 5. Средний балл генерации - 4,4 балла.

ruGPT-3

Следующая модель, которую мы изучили, - ruGPT-3 XL от «Сбера». Она может дополнять тексты на русском языке (в основном) и английском, а также умеет продолжать программный код. В нее достаточно загрузить фразу, которую генератор позже продолжит. Нейросеть ruGPT-3 была обучена на суперкомпьютере «Кристофари» и с помощью платформы ML Space от SberCloud. Ее архитектура базируется на решении Generative Pretrained Transformer 3 одного из самых известных разработчиков генеративных моделей OpenAI.

Чтобы проанализировать работу с текстом данной нейросети, мы загрузили в нее несколько предложений публицистического стиля.

Таблица 1. Качество генераций новостного текста

Таблица 2. Зависимость качества работы генератора «Нейропушкин» от количества слов

Интересно, что эта нейросеть решила представить своего рода дайджест новостей, а не продолжила дописывать предложенный фрагмент. Многообразие синтаксических конструкций - 5 баллов. Формальная логика также не нарушается, хотя смысл некоторых предложений может озадачить (но мы все же поставили 5), соответствие морфологическим нормам и лексическая сочетаемость - 5 баллов, нарушена пунктуация (4 балла). Соблюдение требований стилистики новостного текста серьезно ухудшается в третьем тексте («даже маленькие испанцы»). Генератор не выдерживает новостной стиль и переходит в стиль ведения личного блога. (3 балла). Средний балл - 4,4.

Первое место по качеству генерации новостного текста заняла гивРТЗ (см. табл. 1). Этот генератор неплохо работает с языком текста, но из-за большого объема генерации (в среднем 201 слово) не способен грамотно связывать мысли друг с другом. Зависимость между качеством работы модели и количеством слов в полученной генерации особенно четко можно проследить на примере генератора «Нейропушкин» (см. табл. 2).

Заключение

На данный момент внедрение генераторов текста и других инструментов для автоматизации осложнено тем, что пока они воспринимаются как необязательная трата бюджета редакции из-за уменьшения пула рекламодателей и роста стоимости обслуживания текущих технических средств трудовой деятельности.

Только самые крупные российские редакции (агентства ТАСС, «Интерфакс») имеют собственные свободные ресурсы для развития автоматизации. В некоторых случаях игроки медийного рынка («Лента. ру») заключают партнерства с разработчиками ИИ («Сбер»). На текущем этапе развития технологии в автоматических текстах наблюдается большое количество ошибок, неточностей и логических проблем.

Проведенное авторами исследование показало, что современные генераторы текста умеют хорошо работать с языком текстов. Главный недостаток таких автоматических систем в том, что они не могут пока в достаточной мере связывать между собой более двух-трех тезисов.

Однако нужно учитывать, что кроме формальной логики есть еще одна характеристика «человеческих текстов», которые делают их понятными и «читаемыми», - это здравый смысл. Иногда мысли по форме (что важно для логики) друг другу не противоречат, но их смысл может исказить фразу. Генераторов текста, да и других видов ИИ, со здравым смыслом на данный момент не разработано.

Предложенная авторами система критериев для оценки качества генерации текстов может использоваться как в редакциях, выбирающих себе разработчика, который будет создавать инструменты автоматизации для создания журналистского текста, так и для улучшения существующих генераторов текста.

Примечания

1. Гендиректор ТАСС: автоматизация выведет СМИ на качественно новый уровень / ТАСС. 2018. Май, 24. Режим доступа: https://tass.ru/ekonomika/5229545 (дата обращения: 01.12.2021).

2. 50 фактов из жизни редакции сайта «Интерфакса» / Интерфакс. 2016. Июнь, 23. Режим доступа: https://www.interfax.ru/russia/514805 (дата обращения: 01.12.2021).

3. Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Способы обеспечения доверия. Режим доступа: https://docs.cntd.ru/document/1200177291 (дата обращения: 02.02.2022).

Библиография

1. Богачева Р.А. Проблема недоопределенности значения термина «искусственный интеллект» // Гуманитарная информатика. 2011. № 6. С. 95-100.

2. Замков А.В. Новостной медиаробот: теоретические аспекты интеллектуальной системы генерации контента // Вопросы теории и практики журналистики. 2019. Т. 8. № 2. С. 260-273.

3. Замков А.В., Крашенинникова М.А., Лукина М.М., Цынарева Н.А. Роботизированная журналистика: от научного дискурса к журналистскому образованию // Медиаскоп. 2017. Вып. 2. Режим доступа: http://www.mediascope.ru/2295.

4. Шестерина А.М., Шестерин Н.О. О корректности использования термина «искусственный интеллект» в медиасфере // Ученые записки Новгород. гос. ун-та им. Ярослава Мудрого. 2020. № 4 (29). С. 1-5.

5. Davey A. (1979) Discourse Production. Edinburgh: Edinburgh University Press.

6. Kim D., Lee J. (2018) Designing an Algorithm-Driven Text Generation System for Personalized and Interactive News Reading. International Journal of Human-Computer Interaction 35: 109-122.

7. Kruijff G.-J., Teich E., Bateman J., Kruijff-Korbayova I. et al. (2000) Multilinguality in a Text Generation System for Three Slavic Languages. In: Proceedings of the 18th International Conference on Computational Linguistics. V. 1. Pennsylvania, USA: Association for Computational Linguistics, pp. 474-480. Режим доступа: https://doi.org/10.3115/990820.990889 (дата обращения: 02.02.2022).

8. McKeown K.R. (1985) Discourse Strategies for Generating Natural Language text. Artificial Intelligence Journal 27: 1-41.

9. van der Haak B., Parks M., Castells M. (2012) The Future of Journalism: Networked Journalism. Rethinking Journalism in the Networked Digital Age. International Journal of Communication 6: 2923-2938.

10. William C., Mann W.C., Moore J.A. (1981) Computer Generation of Multiparagraph English Text. American Journal of Computational Linguistics 7 (1): 17-29.

Размещено на Allbest.ru