В рамках метода DecisionTreeClassifier представляется возможность визуализировать работу классификатора. Дерево решений для лучшего из вариантов - без длины стихотворения в словах и без частотного слова - можно подробно рассмотреть в Приложении 4. Из визуализированного дерева мы видим, что решающими правилами становятся:

1. Биграммы без пробелов - если нормализованный показатель больше 0.077, то это с определённой вероятностью это поэзия под авторством человека, если ниже - то под авторством компьютера;

a. Далее, если показатель больше 0.077, то вычисляется семантическое расстояние между четверостишиями стихотворение с применением Евклидовой метрики. Если данный показатель больше 10.182, то алгоритм следует далее в сторону доказательства автора-человека.

b. Если нормализованный показатель биграмм без пробелов меньше 0.077, то вычисляется семантическая плотность стихотворения с применением Евклидовой метрики. Если данный показатель меньше 32.773, то алгоритм следует далее в сторону доказательства автора-компьютера.

В общей сложности, дерево состоит из 9 подобных уровней, посредством которых определяется автор.

5. Оценка результатов классификатора и их обсуждение

В данном разделе мы обсуждаем и пытаемся объяснить полученные результаты классификатора. Для наглядности приведем распределение важности критериев для лучшей модели RandomForestClassifier:

Feature importances:

1. feature 'Len' (0.2414)

2. feature 'Frequency word' (0.0945)

3. feature 'Bigramms_without_spaces' (0.0781)

4. feature 'Bigramms_with_spaces' (0.0743)

5. feature 'ThreeGrams_with_spaces' (0.0711)

6. feature 'Stanzas_eucl' (0.0701)

7. feature 'Stanzas_cos' (0.0598)

8. feature 'Stanzas_dot' (0.0536)

9. feature 'Semantic_density_eucl' (0.0522)

10. feature 'Semantic_density_cos' (0.0426)

11. feature 'Semantic_density_dot' (0.0408)

12. feature 'ThreeGrams_without_spaces' (0.0349)

13. feature 'Adj_semantic_density_eucl' (0.0303)

14. feature 'Adj_semantic_density_cos' (0.0295)

15. feature 'Adj_semantic_density_dot' (0.0268)

Основываясь на распределении, можно заключить, что лучшими критериями стали: длина, частотное слово, биграммы с пробелами и без них. Рассмотрим каждый критерий более подробно.

Как упоминалось ранее, на начальных этапах работы мы не выдвигали гипотезу о том, что длина стихотворения в словах может стать одним из признаков для классификатора, вследствие чего, показатели би- и триграмм не были нормализованы. В результате этого упущения нами был обучен алгоритм CatBoostClassifier, результаты которого указали на то, что алгоритм переобучился: на обучающей выборке показатель f1_score был равен 0.999901472061828, в то время как на тестовой он давал результат, равные 0.01498228866902012.

В связи с вышеуказанными результатам, мы выделили длину как отдельный критерий, а показатели биграмм нормализовали путём деления на количество слов в стихотворении.

При обучении на моделях, указанных в разделе «Классификатор и его особенности» мы выявили, что длина поэтического тек­ста действительно является одним из самых весомых признаков стихотворения. Мы предположили, что это возникает в связи с некоторой несбалансированности данных по длине. Взглянув на статистику, мы поняли, что поэтические тексты, написанные человеком в среднем состоят из 87.57 слов, в то время как этот же по­казатель для нейропоэзии составляет 29.78 слов, что действительно могло повлиять на итоговые результаты. Кроме того, рассмотрев график на Рис. 2, можно увидеть, что стихотворения, написанные человеком, действительно превосходят сгенерированные стихотворения по длине.

Рисунок 2 Длина стихотворения vs Частотное слово

Показатель частотного слова также ставился нами под сомнение, так как аналогично предыдущим рассуждениями, мы допускали его зависимость от длины стихотворения. Однако, просмотрев статистику мы поняли, что средние показатели стихов разных по природе авторов различаются в меньшей степени: 1.34 у сгенерированной поэзии и 2.87 у написанных человеком стихотворений. Кроме того, на графике, изображенном на Рис. 2 можно также проследить не сильную зависимость количества вхождений частотного слова от длины стихотворения в словах.

Критерии, в рамках которых выделялись частотные би- и триграммы ожидаемо показали высокие результаты, так как данный метод распространен при анализе текста с целью идентификации автора (Kurzweil, Keklak, 2003). Интересно заметить, что триграммы с пробелами по своему качеству находятся практически на одном уровне с биграммами в целом. Это может быть объяснено тем фактом, что триграммы с пробелом, например «ть_» или «_до», по своей сути являются биграммами без пробелов. Более интересным вопросом является причина большей распространённости биграммов, нежели триграммов в стихотворениях, написанных человеком, что прослеживается на графике, представленном на Рис. 3. Если посмотреть на статистику, то можно увидеть, что среднее нормализованное количество биграмм без пробелов в нейростихе составляет 0.06924275070500922, в то время как в поэзии под авторством человека этот показатель равен 0.10788403513212866. В рамках данного вопроса мы выдвинули несколько гипотез. Первая из них - это большая распространённость аллитерации, выражающейся в повторении двух букв, а не трёх (Барахнин и др., 2017). Второй гипотезой стала особенность построения рифмы стихотворений. В частности, для получения рифмы необходима схожесть окончаний слов. Обращая внимания на то, что средняя длина окончаний русского языка составляет 2.29 (Егорова и др., 2016), можно предположить, что анализ биграмм выделял рифмующиеся окончания, что также является более характерной чертой для поэзии, написанной человеком.

Рисунок 3 Биграммы без пробелов vs Триграммы с пробелами

Обращая внимание на распределение метрик семантической близости, можно заметить такую тенденцию, что наилучший результат показывает Евклидова метрика, далее идёт косинус угла между векторами, а после - скалярное произведение масштабированных до единичной длины векторов (см. Табл. 7).

Таблица 7

Распределение важности методов при обучении

Нам кажется такое распределение отчасти странным, так как Евклидово расстояние, чувствительное к случаям, когда рассчитывается семантическая близость между словами с резко различающимися частотами, превзошло косинусную меру, которая не настолько чувствительна к таким показателям (Волчек, Порицкии?, 2013).

Далее, необходимо обратить внимание на распределение метрик качества моделей машинного обучения, представленных в Табл. 8.

Таблица 8

Результаты обучения алгоритмов

Интересным является тот факт, что логистическая регрессия при обучении на размеченном поэтическом корпусе показала настолько низкий результат: f_1 score для тренировочной выборки равен 0.34, для тестовой - 0.29. Мы допускаем, что это обусловлено спецификой данных, на которых обучается модель, так как данный алгоритм показывает низкое качество на линейно-неразделимых объектах, а также чувствителен к наличию «шума» в данных, что подтверждает проведенный эксперимент, представленный на Рис. 4. В нашей выборке основным источником шума является сильная разрозненность стихотворений одного класса практически во всех показателях: в длине, в количестве четверостиший, в количестве прилагательных и наречий и т.д.

Рисунок 4 Изменение f1_score при увеличении шума

Также, рассмотрим успешность модели RandomForestClassifier при классификации стихотворений используемых в работе генераторов. В результате анализа мы получили, что классификация творчества Автопоэта.Яндекса менее успешна чем классификация стихотворений Генератора И.Гусева, в то время как самый высокий показатель accuracy характеризует генератор «Кибер-Пушкин» (см. Табл. 9).

Таблица 9

Успешность модели RandomForestClassifier для используемых генераторов

Мы предполагаем, что поэтические тексты Яндекс.Автопоэта наиболее трудно распознаются классификатором, так как они состоят из строк, написанных людьми, что обозначает наличие семантической связности в строках. Кроме того, как писал один из авторов данного нейропоэта - Алексей Тихонов - их задачей было создать генератор, творчество которого отвечало бы и структурным требованиям, таким как стопа, рифма, аллитерация и др. (Kontsarenko, 2016). В связи с тем, что наилучшими критериями определения автора стали би- и триграммы, можно предположить, что правила-фильтры по созданию рифмы и аллитерации, установленные создателями в Автопоэте, дают хороший результат.

Кроме того, мы предполагаем, что причиной того, что худшим генератором стал «Кибер-Пушкин» является сам метод генерации поэтических текстов, а именно - генерация с использованием цепей Маркова. Как упоминалось ранее, посредством данного метода сложно добиться семантической целостности всего стихотворения.

6. Заключение

В результате проведённой работы мы создали поэтический корпус, состоящий из 400 000 стихотворений с открытого портала stihi.ru, а также из 7000 автоматически-сгенерированных стихов под авторством Генератора Ильи Гусева, Яндекс.Автопоэта и генератора Сергея Тетерина «КИБЕР-ПУШКИН». Кроме того, на основе 15-ти признаков, в соответствии с которыми были проанализированы 7000 нейростихов и 7000 человеческих стихов, нами был обучен классификатор с использованием семи разных алгоритмов: RandomForestClassifier, DecisionTreeClassifier, KNN, GBT, SVC, Linear model и LogisticRegressionCV. В результате обучения были выделены наиболее важные признаки стихотворения, опираясь на которые можно с наибольшей вероятностью автоматически определить автора стихотворения. Такими признаками стали: длина поэтического текста в словах, максимальное количество вхождений частотного слова, биграммы с и без пробелов, триграммы с пробелами. Кроме того, лучшей метрикой определения семантической близости в рамках обучения классификатора стало Евклидово расстояние между семантическими векторами. Лучшими моделями стали RandomForestClassifier и DecisionTreeClassifier, так как они хорошо обучаются на линейно-неразделимых объектах, а также не сильно чувствительны к наличию «шума» в данных, в то время как худшей моделью по этим же причинам стала LogisticRegressionCV.

Обученная модель RandomForestClassifie также была протестирована отдельно на творчестве каждого из указанных выше генераторов для определения качества их нейропоэзии. Результаты исследования показали, что худший показатель accuracy характеризует лучшие по своему качеству стихи Автопоэта.Яндекса.

Полученный в работе классификатор в дальнейшем может быть оформлен как самостоятельный инструмент-пакет, целью которого будет автоматическое определение природы автора стихотворения, без привлечения человеческих ресурсов. Такой инструмент исследования может способствовать дальнейшему развитию одной из сфер NLP, а именно - сферы оценки генерации естественного языка.

Список литературы

1. Барахнин и др., 2017 - Барахнин В. Б., Кожемякина О. Ю., Пастушков И. С. Сравнительный анализ методов автоматической классификации поэтических текстов на основе лексических признаков//CEUR Workshop Proceedings. 2017. Т. 2022. С. 252-257.

2. Березин и др., 2018 - А.А.Березин, Э.Ф. Гайнутдинов, А.С. Максимов, Е.Ю.Никитина. Разработка программного обеспечения для выявления источников общественно-опасной информации в социальной сети "ВКонтакте", Bulletinof Perm University. Mathematics. Mechanics. Computer Science / Vestnik Permskogo Universiteta.

3. Визильтер и др., 2012 - Ю. В. Визильтер, Э. С.Клышинский, Т. В.Крапчатова, А. А.Максимов. Генерация стихов по прозаическому тексту // Новые информационные технологии в автоматизированных системах. 2012. №15. URL: https://cyberleninka.ru/article/n/generatsiya-stihov-po-prozaicheskomu-tekstu (дата обращения: 22.05.2019).

4. Волчек, Порицкии?, 2013 - О. Волчек, В. Порицкии?. Построение векторной семантической модели на основе русскоязычных текстов: первые эксперименты. 2013. URL: http://itas2013.iitp.ru/pdf/1569758773.pdf (дата обращения 22.05.2019)

5. Воронцов, Потапенко, 2014 - Воронцов К.В., Потапенко А.А. Регуляризация вероятностных тематических моделей для повышения интерпретируемости и определения числа тем // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции Диалог (Бекасово, 4-8 июня 2014 г.). Вып. 13 (20). М: Изд- во РГГУ, 2014. С. 676-687.

6. Егорова и др., 2016 - Е. Е. Егорова, А. М. Лаврентьев, А. М. Чеповский, “Метод структурных схем компьютерного морфологического анализа словоформ естественного языка”, Фундамент. и прикл. матем., 19:3 (2014), 91-109; J. Math. Sci., 214:6 (2016), 802-813

7. Зализняк, 2003 - А.А. Зализняк, Грамматический словарь русского языка. Словоизменение. М.: Русский язык, 197

8. Зеленков и др., 2014 - Ю.Г Зеленков, А. И.Зобнин, М. Ю.Маслов, В. А. Титов. In International on Computational Linguistics and Intellectual Technologies “Dialogue-2014”. 2014. Pp 775-786. Retrieved from http://www.dialog-21.ru/digests/dialog2014/materials/pdf/ZelenkovYuG.pdf

9. Каганов,1996 - Лингвистическое конструирование в системах искусственного интеллекта: диплом. работа. Московский гос. Горный университет, Москва, 1996.

10. Москвитина, 2018 - Т.Н. Москвитина. Методы выделение ключевых слов при реферировании научного текста // Вестник ТГПУ. 2018. №8 (197). URL: https://cyberleninka.ru/article/n/metody-vydeleniya-klyuchevyh-slov-pri-referirovanii-nauchnogo-teksta(дата обращения: 22.05.2019).

11. Павлов, Добров, 2009 - Б.В. Добров, А.С.Павлов. Методы обнаружения поискового спама, порожденного с помощью цепей Маркова // Тр. XIВсероссийский научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции. 2009. Т. 1. С. 311-317.

12. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. -- 2009. -- Pp. 27-34.

13. Balakrishnan et. al., 2018 - W. Kaur, A. Javed, V. Balakrishnan, P. Burnap, H.A. Rahim. Mapping Human Emotions using Keyword Based Emotion Filter and String Vectors. In Data Science Research Symposium 2018 (p. 22).

14. Bengio et al., 2006 - Y.Bengio, O. Delalleau, J.-L.Gauvain, F.Morin, J.-S. Senйcal. Neural probabilistic language models. Innovations in Machine Learning. Springer, 2006. Pp.137-186.

15. Chernyak et.al, 2017 - E. Chernyak, M. Ponomareva, K. Milintsevich, A.Starostin/ "Automated word stress detection in russian", Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 31-35, 2017.

16. Clarke et. al., 2018 - C. LA Clarke, S. L Garfinkel, I. Soboroff, L. Xiong, H. Yang. Privacy-preserving IR 2016: Differential privacy, search, and social media. In Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval, pages 1247-1248. ACM, 2016.

17. Dalvean, 2015 - M.C. Dalvean. The Psychological Underpinnings of Conservative/Liberal Ideology in the Australian Federal Parliament: A Computational Linguistic Analysis (December 2, 2015). Prepared for the Fourth Annual Conference of the Australian Society for Quantitative Political Science, University of Melbourne, December 9, 2015 - December 10, 2015. Available at SSRN: https://ssrn.com/abstract=2830748 or http://dx.doi.org/10.2139/ssrn.2830748

18. Delmonte, Prati, 2014 - R. Delmonte, A.M. Prati. SPARSAR: An Expressive Poetry Reader, Proceedings of the Demonstrations at the 14th Conference of the EACL, Gotheborg, 73-76.

19. Dix, 2016 - A. Dix, “Human-like computing and human -- computer interaction,” in Proceedings of the 30th International BCS Human Computer Interaction Conference: Fusion!, 2016, p. 52.

20. Gauvain, Schwenk, 2005 - J.-L. Gauvain, H. Schwenk. Training neural network language models on very large corpora. In Joint Conference HLT/EMNLP. France, Ocr 2005. Pp. 201-208.

21. Greene et al., 2010 - E. Greene, T. Bodrumlu, K. Knight. Automatic analysis of rhythmic poetry with applications to generation and translation. In Proceedings of the 2010 conference on empirical methods in natural language processing. Association for Computational Linguistics, pages 524-533.

22. Forstall et al., 2011 - C. Forstall, S. Jacobson, W. Schierer. Evidence of intertextuality: Investigating Paul the Deacon's Angustae Vitae. Literary and Linguistic Computing 26 (3): 285-296.

23. Hochreiter, Schmidhuber, 1997 - S.Hochreiter, J. Schmidhuber. Long Short-term Memory. Neural computation 9(8): 1735-1780.

24. Hopkins, Kiela, 2017 - J.Hopkins, D. Kiela. Automatically generating rhythmic verse with neural networks. In Proceedings of ACL.

25. Kaplan, Blei, 2007 - D. Kaplan, D. Blei. A computational approach to style in American poetry. In Seventh IEEE International Conference on Data Mining, pages 553-558, 2007.

26. Karpathy, 2015 - A. Karpathy. The Unreasonable Effectiveness of Recurrent Neural Networks. Retrieved from http://karpathy.github.io/2015/05/21/rnn-effectiveness/

27. Kim et al., 2015 - Y. Kim, Y. Jernite, D. Sontag, M.M Rush. Character-aware neural language models. arXiv preprint arXiv:1508.06615. 2014.

28. Kiis, Ka?ngsepp, 2018 - T. Kiis, M. Ka?ngsepp. Generating Poetry using Neural Networks, 2018.

29. Kontsarenko, 2016 - P. Kontsarenko. Как работает «Яндекс.Автопоэт». URL: https://vc.ru/flood/16925-ya-eutopoet (22.05.2019)

30. Kurzweil, Keklak, 2003 - R. Kurzweil, J. A.Keklak. POET PERSONALITIES. Kurzweil Cyberart Technologies, Inc.,Wellesley Hils, MA (US), 2003.

31. Lamb, 2018 - C. Lamb. TwitSong: A current events computer poet and the thorny problem of assessment. UWSpace. http://hdl.handle.net/10012/14184

32. Livingstone, 2006 - D. Livingstone. Turing's test and believable ai in games. Computers in Entertainment, vol. 4, no. 1, pp. 6, 2006.

33. Mai et. al., 2018 - G. Mai, K. Janowicz, B.Yan. Combining text embedding and knowledge graph embedding techniques for academic search engines. In: SemDeep-4. 2018.

34. Misztal, Indurkhya, 2013 - J. Misztal, B. Indurkhya. Poetry generation system with an emotional personality. In Proceedings of 5th international conference on computational creativity, ICCC, Ljubljana, Slovenia, 2014.

35. Potash et. al, 2015 - P. Potash, A. Romanov, P. Rumshisky. GhostWriter: Using an LSTM for automatic rap lyric generation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal, 2015. Pp. 1919-1924.

36. Sutskever et al., 2014 - I. Sutskever, O. Vinyals, Q. Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems. 2014. Pp 3104-3112.

37. Tikhonov, Yamshchikov, 2018 - A. Tikhonov, I. Yamshchikov. Guess who? multilingual approach for the automated generation of author-stylized poetry. arXiv preprint arXiv:1807.07147, 2018.

38. Stirman, 2001 - J. W. P. Wiltsey Stirman, “Word Use in the Poetry of Suicidal and Nonsuicidal Poets,” Psychosom. Med., vol. 522, no. 12, pp. 517-522, 2001.

39. Zhang, Lapata, 2014 - X. Zhang, M. Lapata. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on EMNLP. Association for Computational Linguistics, October, 2014.

40. 

Приложение 1 Графики попарной корреляции признаков

Приложение 2 Таблица соответствий английских и русских названий критериев

Приложение 3 Матрица попарной корреляции признаков

Приложение 4 Визуализация дерева решений

Приложение 5 Ссылка на репозиторий с проектом

https://github.com/Alinyandia/classifier

Размещено на Allbest.ru