Классификатор на основе метода опорных векторов показал лучшие результаты на данном рубрикаторе. При этом качество остальных моделей значительно ниже. Нейронные сети прямого распространения с 1 и 2 скрытыми слоями и с LSTM-слоем показали второй по качеству результат при микро-усреднении, логистическая регрессия - при макро-усреднении. Случайный лес при обоих подходах к усреднению показал самые низкие результаты.

Таблица 2

Результаты тестирования классификаторов для кодов тематических отделов

Таблица 3

Результаты тестирования классификаторов для кодов реферативных журналов

Таблица 4

Результаты тестирования классификаторов для кодов ГРНТИ

7.4 Вывод по анализу результатов

Из всех тестируемых моделей машинного обучения классификатор на основе метода опорных векторов оказался значительно лучше других в рамках поставленной задачи, показывая самые высокие результаты по всем метрикам качества. При этом для всех рубрикаторов оптимальным размером рекомендации оказались два ответа для кодов отделов, один ответ для кодов РЖ и три ответа для ГРНТИ. Тем не менее, подход со строгим количеством ответов является не самым перспективным и вскоре будет заменен анализом вероятностей ответов и выбором одного или нескольких ответов на основании этих показателей, при этом ожидается рост качества по F-мере.

Доля правильных ответов является наиболее важной метрикой оценки качества для анализа возможностей классификатора обрабатывать реальный поток получаемых текстов, во всех случаях для двух ответов она была на уровне 0,94 и выше. Несмотря на слабое распознавание тем с небольшим количеством текстов в обучающей выборке, классификаторы хорошо адаптируются под имеющиеся данные и уже на этом этапе могут использоваться для увеличения эффективности труда специалистов, которые занимаются ручной рубрикацией текстов.

Заключение

В ходе создания базиса для разработки системы поддержки принятия решений для ВИНИТИ РАН была решена задача анализа обучающих данных. Было установлено, что выборка аннотаций научных публикаций содержит тексты, неравномерно распределенные по рубрикам, что может снизить качество классификации. Были предложены альтернативные интерпретации решаемой задачи, соответствующие регрессии в пространстве вероятностей. Было предположено, что для оценки качества СППР более показательными будут метрики качества, основанные на правильности предсказания моделью одной, двух или трех рубрик с наибольшими вероятностями, а также усредненные по микро- и макро_подходам.

Полный цикл анализа текста системой состоит из этапов предобработки текста, извлечения признаков и классификации. Предобработка текстов включает в себя удаление элементов разметки, перевод символов в нижний регистр, удаление стоп-слов и лемматизацию. Для обоснования выбора метода извлечения признаков был проведен обзор методов и выполнен ряд экспериментов по обучению моделей с фиксированными гиперпараметрами. Было установлено, что векторы размерности 50, полученные из матрицы текста методом усредняющего пулинга по столбцам лучше всего подходят для классификации. Матрица текста была получена при помощи технологии word2vec. При проведении экспериментов по выбору модели классификации для СППР гиперпараметры алгоритмов выбирались путем перебора комбинаций из заранее заданного диапазона. В результате тестирования классификаторов было установлено, что метод опорных векторов с ядром на основе радиально-базисной функции показывает себя лучше в задаче классификации научных текстов. Для рубрикатора, состоящего из кодов тематических отделов ВИНИТИ РАН, метод опорных векторов показал качество 0,65-0,70 по F-мере при учете одного и двух ответов с наибольшими вероятностями. Качество работы рекуррентной нейросети для одного ответа было примерно таким же (0,65-0,68). При классификации по кодам выпусков реферативных журналов F-мера составила 0,45-0,5 при двух и трех ответах. Для кодов ГРНТИ качество при тестировании достигло 0,3-0,5 по F-мере, что объясняется недостаточным количеством текстов по некоторым рубрикам в обучающей выборке. Таким образом, в задаче поддержки принятия решений для рубрикации научных текстов наиболее подходящим алгоритмом является метод опорных векторов. Оптимальной величиной рекомендации, исходя из результатов тестирования, являются два ответа.

Проделанная студенткой Е.С. Козловой работа включает в себя:

- обзор существующих решений для извлечения признаков из текста на естественном языке и моделей классификации (за исключением нейронных сетей);

- анализ набора данных, используемого в работе;

- выбор оптимального метода для извлечения признаков из текста;

- обучение моделей классификации и их сравнительный анализ по нескольким метрикам качества;

- разработка модулей приложения, отвечающих за извлечение признаков из текста и классификацию;

- проведение анализа качества работы классификатора.

Проделанная студентом К.Е. Ломотиным работа включает в себя:

- обзор существующих решений в области предварительной обработки текстов и использования нейронных сетей для классификации;

- предварительная подготовка текстовых данных, включающая в себя очистку от стоп-слов и служебных символов, приведение слов в нормальную форму, определение языка текста;

- создание структуры программного продукта;

- разработка приложения и модуля для предварительной обработки текстов;

- проведение тестирования приложения.

Список литературы

1. О ВИНИТИ РАН [Электронный ресурс]

2. ABBYY Smart Classifier [Электронный ресурс]

3. IBM Natural Language Classifier [Электронный ресурс]

4. Learning from Positive and Unlabeled data [Электронный ресурс]

5. Uysal, A.K. The impact of preprocessing on text classification / A.K. Uysal, S. Gunal // Information Processing & Management. - Elsevier, 2014. - Vol. 50. - No 1. - P. 104-112.

6. Lex, E. Cross-domain classification: Trade-off between complexity and accuracy / E. Lex et al. // Internet Technology and Secured Transactions, 2009. ICITST 2009. International Conference. - IEEE, 2009. - P. 1-6.

7. Semberecki, P. Deep learning methods for subject text classification of articles / P. Semberecki, H. Maciejewski // Computer Science and Information Systems (FedCSIS), 2017 Federated Conference. - IEEE, 2017. - P. 357-360.

8. Wang, Y. Comparisons and Selections of Features and Classifiers for Short Text Classification / Y. Wang et al. // IOP Conference Series: Materials Science and Engineering. - IOP Publishing, 2017. - Vol. 261. - No. 1. - P. 012018.

9. Sammouda, R. A Comparative Study of Effective Supervised Learning Methods on Arabic Text Classification / R. Sammouda // IJCSNS. - 2017. - Vol. 17. - No. 12. - P. 130.

10. Liu, Y. A method for multi-class sentiment classification based on an improved one-vs-one (OVO) strategy and the support vector machine (SVM) algorithm. / Y. Liu, J.W. Bi, Z.P. Fan // Information Sciences. - Elsevier, 2017. - Vol. 394-395. - P. 38-52.

11. Xu, B. A new SVM Chinese text of classification algorithm based on the semantic kernel. / B. Xu, Y. Zhang // 2011 International Conference on Multimedia Technology. - IEEE, 2011. - P. 2857-2860.

12. Xing, Z. Ensemble application of convolutional and recurrent neural networks for multi-label text categorization. / Z. Xing, D. Ye, G. Chen, J. Chen, E. Cambria // 2017 International Joint Conference on Neural Networks (IJCNN). - IEEE, 2017. - P. 2377-2383.

13. Du, J. Automatic text classification algorithm based on Gauss improved convolutional neural network. / J. Du // Journal of Computational Science. - Elservier, 2017. - Vol. 21. - P. 195-200.

14. Воробьев, Н.В. Классификация текстов с помощью сверточных нейронных сетей. / Н.В. Воробьев, Е.В. Пучков // Молодой исследователь Дона. - Донской государственный технический университет, 2017. - Т. 6. - №9. - С. 1-7.

15. Sivakumar, T.A Comparative Survey on Different Text Categorization Techniques. / T. Sivakumar, M.K. Raju, S.T. Subrahmanian // International Journal of Computer Science and Engineering Communications. - Chennai: Scientist Link Group of Publications Journals, 2017. - Vol. 5. - No. 3. - P. 1612-1618.

16. Bourgonje, P. Automatic classification of abusive language and personal attacks in various forms of online communication / P. Bourgonje et al. // International Conference of the German Society for Computational Linguistics and Language Technology. - Springer, 2017. - P. 180-191.

17. Sun, Y. Cost-sensitive boosting for classification of imbalanced data / Y. Sun et al. // Pattern Recognition. - 2007. - Vol. 40. - No. 12. - P. 3358-3378.

18. Dimov, D. SAR and optical time series for crop classification / D. Dimov // 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). - 2017. - P. 1-4.

19. Feng, K.Y. Boosting classifier for predicting protein domain structural class / K.Y. Feng, Y.D. Cai, K.C. Chou // Biochemical and biophysical research communications. - 2005. - Vol. 334. - No. 1. - P. 213-217.

20. Luo, Y. Classification of Data from Electronic Nose Using Gradient Tree Boosting Algorithm / Y. Luo // Sensors. - 2017. - Vol. 17. - No. 10. - P. 2376.

21. Abuhaiba, I.S.I. Combining Different Approaches to Improve Arabic Text Documents Classification / I.S.I. Abuhaiba, H.M. Dawoud // International Journal of Intelligent Systems and Applications. - 2017 - Vol. 9. - No. 4. - P. 39.

22. Lin, Y. Research on Classification of Chinese Text Data Based on SVM / Y. Lin et al. // IOP Conference Series: Materials Science and Engineering. - IOP Publishing, 2017. - Vol. 231. - No. 1. - P. 012067.

23. Gйron, A. Hands-on machine learning with Scikit-Learn and TensorFlow: concepts, tools, and techniques to build intelligent systems / A. Gйron. - «O'Reilly Media, Inc.», 2017. - P. 572.

24. Hilbe, J.M. Logistic regression / J.M. Hilbe //International Encyclopedia of Statistical Science. - Springer Berlin Heidelberg, 2011. - P. 755-758.

25. Лапач, С.Н. Основные проблемы построения регрессионных моделей / С.Н. Лапач, С.Г. Радченко // Математические машины и системы. - 2012. - Т. 1. - №4.

26. Korenius, T. Stemming and lemmatization in the clustering of finnish text documents / T. Korenius et al. // Proceedings of the thirteenth ACM international conference on Information and knowledge management. - ACM, 2004. - P. 625-633.

27. Toman, M. Influence of word normalization on text classification / M. Toman, R. Tesar, K. Jezek // Proceedings of InSciT. - 2006. - Vol. 4. - P. 354-358.

28. Клышинский, Э.С. Метод извлечения технических терминов с использованием меры странности / Э.С. Клышинский, Н.А. Кочеткова // Новые информационные технологии в автоматизированных системах. - 2014. - №17. - С. 365-370.

29. Word2Vec [Электронный ресурс]

30. Scherer D. Evaluation of pooling operations in convolutional architectures for object recognition / D. Scherer, A. Mьller, S. Behnke //International conference on artificial neural networks - Springer, Berlin, Heidelberg, 2010. - P. 92-101.

31. Toloєi, L. Classification with correlated features: unreliability of feature ranking and solutions / L. Toloєi, T. Lengauer // Bioinformatics. - 2011. - Vol. 27. - No. 14. - P. 1986-1994.

32. Clark, J. A neural network based approach to automated e-mail classification / J. Clark, I. Koprinska, J. Poon // Web Intelligence, 2003. WI 2003. Proceedings. IEEE/WIC International Conference. - IEEE, 2003. - P. 702-705.

33. Yang, Y. An evaluation of statistical approaches to text categorization / Y. Yang //Information retrieval. - 1999. - Vol. 1. - No. 1-2. - P. 69-90.

Размещено на Allbest.ru