Классификация медиа-текстов с использованием машинного обучения

Размещено на http://www.allbest.ru/

КЛАССИФИКАЦИЯ МЕДИА-ТЕКСТОВ С ИСПОЛЬЗОВАНИЕМ МАШИННОГО ОБУЧЕНИЯ

Keywords: text classification; TF-IDF; random forest; support vector machine; online media.

Введение

Методы машинного обучения успешно применяются для автоматизации работы с большими наборами текстов, в частности, они используются для решения задач классификации текстов различных жанров, таких как научного [Ломотин и др. 2017] и юридического характера [Sulea et al. 2017].

Область применения методов машинного обучения распространяется также на жанр медиа-текстов. Более того, они используются для решения задач сентимент-анализа [Зверева 2014] или выделения скрытых тем [Vargas-Calderon et al. 2019] медиатекстов.

В статье описывается использование методов машинного обучения для автоматической классификации медиа-текстов. В частности, рассматривается применение и получение результатов классификации с помощью метода опорных векторов (support vector machine) и алгоритма «случайный лес» (random forest).

Подготовка выборки

В качестве источника медиа-текстов был использован набор статей из пяти внутренних рубрик агентства ИТАР-ТАСС, обладающего большим массивом материалов: «общество», «экономика», «политика», «спорт», «культура» (tass.ru). После предварительной оценки длины статей в символах 5 % наименее и наиболее объемных статей были удалены из выборки. В итоговую выборку попало 8 453 статьи, каждая из которой однозначно соответствует одной из пяти указанных ранее рубрик.

Общая выборка статей была разделена на две подвыборки в соотношении 85:15. В абсолютных числах объемы подвыборок составили 7 185 и 1 268 статей соответственно. Первая подвыборка была использована для обучения модели, вторая - для проверки ее работы.

Так как оба алгоритма классификации принимают на вход числовые данные, содержимое статей требовалось преобразовать в числовую форму. Для этого на основе собранных текстов была сформирована терм-документная матрица TF-IDF, использующаяся в качестве статистической меры выделения наиболее часто используемых термов в наборе текстов.

В матрице TF-IDF столбцы образуют все уникальные термы, поэтому в исходном тексте каждая отдельная словоформа будет иметь собственный вес. Для получения более точных значений весов и уменьшения размерности матрицы исходные тексты документов предварительно обрабатываются [Korenius et al. 2004]. Способами преобразования могут выступать лемматизация, стемминг и удаление стоп-слов. Более подробно процесс обработки исходных текстов описан в статье, посвященной формированию выборки статей [Мотовских 2020].

Применение алгоритмов к матрице TF-IDF

Random forest, или «случайный лес», - алгоритм машинного обучения, работающий на основе регрессионных деревьев. Каждому дереву дается для обучения классификации небольшой набор случайных элементов из подвыборки. После обучения классификация происходит путем голосования: новым данным присваивается тот класс, за который проголосует большинство деревьев [Garreta, Moncecchi 2013].

Каждый экземпляр классификатора «случайный лес» инициализируется с определенными параметрами, влияющими на качество предсказаний. Для построения первого набора классификаторов параметры принимали следующие значения:

• использование метода Bootstrap, флаг 0 или 1;

• максимальная глубина дерева: 20, 40, 60, 80, 100 узлов или без ограничений;

• минимальное число элементов в листовой вершине: 1, 2 или 4;

• минимальное число элементов для разделения узла: 2, 5 или 10;

• количество деревьев: 200, 400, 600, 800 или 1000.

Общее количество возможных классификаторов для всех возможных значений параметров - 540. Так как перебор моделей со всеми возможными сочетаниями параметров может быть неэффективным с точки зрения затраченных ресурсов, для поиска наилучшей модели используется метод случайного поиска с ограниченным количеством операций [Bergstra, Bengio 2013]. Критерием для отбора лучшей модели выступает ее точность предсказания на тестовой выборке.

В работе случайным образом было отобрано 50 моделей с разным набором параметров, наилучший результат из которых показала модель с параметрами: 1; 60; 1; 10; 1000 и точностью 84 %. Точность предсказаний категорий на тестовой подвыборке составила 86 %. Для улучшения точности модели был использован поиск новых параметров по сетке.

В отличие от случайного поиска, поиск по сетке параметров перебирает все возможные наборы параметров и выбирает среди них лучшие. На основе полученных ранее значений параметры были оптимизированы следующим образом:

• метод Bootstrap не использовался ни разу, флаг всегда равен 0;

• максимальная глубина дерева: 50, 60 или 70 узлов;

• минимальное число элементов в листовой вершине: 1, 2 или 4;

• минимальное число элементов для разделения узла: 5, 10 или 15;

• количество деревьев: 900, 950, 1000, 1050 и 1100.

Лучший результат со средней точностью 85 % показала модель с набором параметров: 0; 70; 1; 5; 900. Точность предсказаний категорий на тестовой подвыборке составила 86 %.

Метод опорных векторов - набор алгоритмов машинного обучения, в основе которых лежит принцип разделения подвыборки на несколько гиперплоскостей так, что элементы разных классов находятся от оптимальной гиперплоскости на максимально возможном расстоянии. Предсказанием алгоритма в таком случае будет положение элемента относительно оптимальной гиперплоскости [Garreta, Moncecchi 2013].

Так же как и для алгоритма «случайный лес», для первичного набора значений параметров был использован метод случайного поиска. Для этого настраивались следующие параметры:

• параметр регуляризации: 0,0001, 0,001 или 0,01.

• ядро алгоритма: линейная, базисная или полиномиальная функция, 0, 1 или 2 соответственно.

• коэффициент для ядра функции: 0,0001, 0,001, 0,01, 0,1, 1, 10 или 100.

• степень полинома: 1, 2, 3, 4 или 5.

Лучший результат со средней точностью 85 % показала модель с набором параметров: 0,01; 2; 10; 3. Точность предсказаний категорий на тестовой подвыборке составила 86 %.

Для улучшения качества модели также был использован поиск по сетке параметров. Новые значения составили:

• параметр регуляризации: 0,01, 0,1, 1, 10.

• ядро алгоритма: использовать полиномиальную функцию, всегда 2.

• коэффициент для ядра функции: 1, 10 или 100.

• степень полинома: 2, 3 или 4.

В результате была найдена модель с параметрами: 0,01; 2; 10; 2 со средней точностью 86 %. Точность предсказаний категорий на тестовой подвыборке составила 88 %.

Таким образом, наилучшим полученным классификатором оказалась модель на основе метода опорных векторов с параметрами: 0,01; 2; 10; 2. Она же и была использована для точечной классификации материалов из дальнейших источников.

В качестве дополнительной точечной проверки модели классификатора были использованы четыре статьи из похожих рубрик, но другого новостного издания и временного периода. Ими стали: «Победа Хабиба Нурмагомедова» из рубрики «Спорт», «Ошибки художников по костюмам в фильмах СССР» из рубрики «Культура», «Клишас рассказал о поправках в закон о неприкосновенности президента» из рубрики «Политика» и «Правительство одобрило правки федерального бюджета» из рубрики «Экономика», опубликованные осенью 2020 года в новостном агентстве «РИА Новости» (ria.ru). текст новостное издание алгоритм

Чтобы модель могла классифицировать статью, исходный текст был преобразован тем же образом, что и изначальные тексты из агентства ТАСС. Преобразованный текст был также трансформирован с помощью матрицы TF IDF, созданной на основе статей из основной выборки.

Модель классификатора использует вероятностный подход для классификации статьи. Каждой из пяти обозначенных изначально рубрик проставляется процент, показывающий, с какой вероятностью статья попадает в эту рубрику. Итоговый выбор рубрики в таком случае осуществляется на основе максимального значения среди всех предположений.

Предсказания модели классификатора для рубрик «общество», «экономика», «политика», «спорт», «культура» составили соответственно:

• «Победа Хабиба Нурмагомедова»: 10,9 %; 0,1 %; 0,3 %; 87,4 %; 1 %.

• «Ошибки художников по костюмам в фильмах СССР»: 6,9 %; 0,2 %; 0,1 %; 0,1 %; 92,5 %.

• «Клишас рассказал о поправках в закон о неприкосновенности президента»: 6,2 %; 3,9 %; 89,5 %; 0,2 %; 0 %.

• «Правительство одобрило правки федерального бюджета»: 1,7 %; 97,9 %; 0,2 %; 0 %; 0 %.

Таким образом, классификатор верно определил рубрику статьи во всех пяти случаях. Стоит отметить, что наибольшую погреш- но сть классификатор получает в отношении категории «общество», что можно дополнительно использовать как критерий общественной значимости новостной статьи.

Заключение

Список литературы / References

1. Зверева П. П. Сентимент-анализ текста (на материале печатных текстов газеты «The New York Times» о России и россиянах) // Вестник Московского государственного областного университета. Серия: Лингвистика. 2014. № 5. С. 32-37. [Zvereva, P P (2014). Sentiment-analysis of text (texts about Russia and the Russians from The New York Times. Bulletin of the Moscow Region State University. Series: Linguistics, 5, 32-37. (In Russ.)].

2. Ломотин К. Е., Козлова Е. С., Романов А.Ю. Применение методов машинного обучения при классификации научных текстов по специализированной базе текстов // Инновационные, информационные и коммуникационные технологии. 2017. № 1. С. 410-414. [Lomotin, K. E., Kozlova E. S., Romanov A. Y. (2017). Machine learning methods application in the task of scientific text categorization on specialized texts base. Innovacionnye, informacionnye i kommunikacionnye tekhnologii, 1, 410-414. (In Russ.)].

3. Мотовских Л. В. Выделение ключевых слов для классификации текстов // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2020. Вып. 9 (838). С. 235-242. [Motovskikh, L. V (2020). Extracting keywords for text classification. Vestnik оf Moscow State Linguistic University. Humanities, 9(838), 236-243. (In Russ.)].

4. Bergstra J., Bengio Y. Random search for hyper-parameter optimization // The Journal of Machine Learning Research. 2012. No 13.1. Pp. 281-305.

5. Garreta R., Moncecchi G. Learning scikit-learn: machine learning in python. Packt Publishing Ltd. 2013.

6. Korenius T. Laurikkala J., Jarvelin K., JuholaM. Stemming and lemmatization in the clustering of Finnish text documents // Proceedings of the thirteenth ACM international conference on Information and knowledge management. 2004. P. 625-633.

7. Sulea O. M., Zampieri M., Malmasi S., Vela M., Dinu L. P., Genabith J. van. Exploring the use of text classification in the legal domain. arXiv preprint arXiv:1710.09306. 2017.

8. Vargas-Calderon V., Dominguez M. S., Vinck-Posada H., Camargo J. E. Using machine learning and information visualization for discovering latent topics in Twitter news. arXiv preprint arXiv:1910.09114. 2019.

Размещено на Allbest.ru