Разработка нейронной сети

Таблица 8. Сравнительная таблица

Наилучший результат относительно метрик качества был показан рекуррентной нейронной сетью типа LSTM, однако линейный алгоритм, реализованный с помощью библиотеки Vowpal Wabbit, несмотря на то, что время, затраченное на обучение, почти в 2000 раз меньше, чем у нейронной сети LSTM, получило качество, которое уступает лидеру менее чем на 10%. Полученные результаты подтверждают предположения о том, что более сложные модели, такие как рекуррентные сети, показывают лучшее значение метрик. Однако при правильно выбранной архитектуре более простых нейронных сетей, какими являются полносвязные нейронные сети, качество модели может несильно отставать от сложных моделей.

3.7 Переформирование классов и оценка качества модели

Для улучшения качества классификации было принято решение объединить некоторые из классов и вновь построить модель нейронной сети - LSTM, как модель нейронной сети с наилучшими показателями метрик и наиболее быстрым обучением среди сетей.

Уменьшение количества классов

Некоторые классы объединены в один общий, так как они являлись подклассами.

Для объединения были выделены следующие группы:

· anjularjs, javascript, jquery, node.js

· sql, sql-server, mysql

· ios, iphone

· .net, asp.net

· c, c#, c++

Снова построим распределение данных по новым классам. Количество классов уменьшилось до 17.

Рисунок 36. Reduced tag frequency

Нейронная сеть LSTM с уменьшенным количеством классов

Этапы обучения нейронной сети можно увидеть на рисунке 37.

Рисунок 37. Обучение LSTM

Качество данной модели после уменьшения количества классов увеличилось и превзошло качество, получившееся на большем количестве классов.

Таблица 9. LSTM метрики с меньшим количеством классов

Уменьшение количества классов пошло на пользу нейронным сетям. По сравнению с предыдущими результатами, качество LSTM увеличилось на 0.08. Такой результат был вполне ожидаем, так как задача стала существенно проще:

· уменьшилось количество классов

· классы стали более четко детерминированы

алгоритм тег нейронный сеть

Заключение

В ходе проделанной работы были решены поставленные задачи и достигнуты следующие результаты:

1. Сделан обзор технологии Text Mining и задач, решаемых с помощью данной технологии.

2. Произведен обзор нейросетевых технологий: как устроена искусственная нейронная сеть, какие задачи можно решать с помощью нейросетей. Приведены примеры часто используемых нейронных сетей и подробно разобраны принципы работы рекуррентных нейронных сетей.

3. На основе проделанного обзора нейронных сетей реализованы архитектуры нейронных сетей типа LSTM, GRU и полносвязной нейронной сети для решения задачи выделения тега в тексте.

4. Реализован линейный метод с помощью библиотеки Vowpal Wabbit и метод решающих деревьев Random Forest.

5. Произведено сравнение построенных моделей, которое производилось на данных с платформы stackoverflow, где для каждого вопроса необходимо выделить тег, характеризующий тему вопроса.

6. Построенная модель нейронной сети LSTM показала наилучший результат и самое быстрое время обучения среди представленных нейронных сетей. Однако самое быстрое обучение и неплохое качество показывает линейная модель, реализованная с помощью пакета Vowpal Wabbit.

7. Во время анализа ошибок моделей было выявлено, что некоторые классы слабо отличаются друг от друга, поэтому при объединении классов и обучении модели LSTM с той же архитектурой, качество заметно увеличилось.

Список литературы

Чубукова И. А. Data Mining: учебное пособие //М.: Интернет-университет информационных технологий: БИНОМ: Лаборатория знаний. - 2006. - С. 208-221.

Mining K. D. T. D. What Is Knowledge Discovery //Tandem Computers Inc. - 1996. - Т. 2.

Экономическая информатика: Учебник / Под ред. В.П. Косарева. - 2-е изд., перераб. и доп. - М.: Финансы и статистика, 2004. - 592 с.

Мерков А. Б. Введение в методы статистического обучения //М.: Editorial URSS. - 2009.

Барсегян А. А. и др. Барсегян А, А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP.-2-е изд., перераб. и доп. - 2007.

Воронцов, К. В. Курс лекций по машинному обучению / К. В. Воронцов. -- 2015.

Роберт К. Основные концепции нейронных сетей: Пер. с англ //М.: Издательский дом «Вильямс. - 2001.

Пескова О. В. и др. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. - 2015.

Осовский С. Нейронные сети для обработки информации. - Финансы и статистика, 2004.

Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks //Advances in neural information processing systems. - 2012. - С. 1097-1105.

Zhang Q. et al. Keyphrase extraction using deep recurrent neural networks on Twitter //Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. - 2016. - С. 836-845.

Hochreiter S., Schmidhuber J. Long short-term memory //Neural computation. - 1997. - Т. 9. - №. 8. - С. 1735-1780.

Chung J. et al. Empirical evaluation of gated recurrent neural networks on sequence modeling //arXiv preprint arXiv:1412.3555. - 2014.

Agarwal A. et al. A reliable effective terascale linear learning system //The Journal of Machine Learning Research. - 2014. - Т. 15. - №. 1. - С. 1111-1133.

Boyd S. et al. Distributed optimization and statistical learning via the alternating direction method of multipliers //Foundations and Trends® in Machine learning. - 2011. - Т. 3. - №. 1. - С. 1-122.

Weinberger K. et al. Feature hashing for large scale multitask learning //Proceedings of the 26th Annual International Conference on Machine Learning. - ACM, 2009. - С. 1113-1120.

Хайкин С. Нейронные сети: полный курс, 2-е издание. - Издательский дом Вильямс, 2008.

Elman J. L. Finding structure in time //Cognitive science. - 1990. - Т. 14. - №. 2. - С. 179-211.

Louppe G. Understanding random forests: From theory to practice //arXiv preprint arXiv:1407.7502. - 2014.

Горожанина, Е.И. Г Нейронные сети. Учебное пособие. [Текст] / Е.И. Горожанина. - Самара. ФГБОУ ВО ПГУТИ, 2017. - 84 с.)

Nielsen M. A. Neural networks and deep learning. - Determination Press, 2015.

McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity //The bulletin of mathematical biophysics. - 1943. - Т. 5. - №. 4. - С. 115-133.

Рудой Г. И. Выбор функции активации при прогнозировании нейронными сетями //Машинное обучение и анализ данных. - 2011. - Т. 1. - №. 1. - С. 16-39.

Patterson J., Gibson A. Deep Learning: A Practitioner's Approach. - " O'Reilly Media, Inc.", 2017.

Короткий С. Нейронные сети: алгоритм обратного распространения //Доступный с http://www. gotai. net/documents/doc-nn-003. aspx. - 2000.

Neubig G. Neural machine translation and sequence-to-sequence models: A tutorial //arXiv preprint arXiv:1703.01619. - 2017.