Симулятор нейронных сетей для ВУЗов

Размещено на http://www.allbest.ru/

2

Пермский государственный педагогический университет Россия, 614990, Пермь, ул. Сибирская, 24

Симулятор нейронных сетей для ВУЗов

Ф.М. Черепанов

Для изучения нейросетевых технологий необходим несложный, доступный, легкий в освоении симулятор нейронных сетей. В статье приведен обзор существующих симуляторов нейронных сетей и дана оценка пригодности их использования в учебном процессе. В качестве альтернативы предлагается авторская разработка, являющаяся продолжением серии курсовых и дипломных работ, выполненных на механико-математическом факультете ПГНИУ.

Ключевые слова: искусственный интеллект; моделирование; нейронные сети.

нейросимулятор нейронная сеть учебный процесс

Введение

При проведении занятий по курсам "Искусственный интеллект", "Интеллектуальные информационные системы", "Системы искусственного интеллекта", "Нейронные сети" возникла проблема, связанная с отсутствием качественных инструментальных средств проектирования нейронных сетей, ориентированных на учебный процесс вузов. Кроме того, в связи с подготовкой учебно-методических пособий по искусственному интеллекту для вузов и школ появилась необходимость в создании симулятора нейронных сетей, пригодного для проведения практических и лабораторных работ.

1. Требования к учебному нейросимулятору

Автором были сформулированы следующие требования к учебному симулятору нейронных сетей:

1. Простота и удобство в использовании. Отсутствие необходимости уделять много времени вопросам освоения программного инструментария, что позволит пользователю сосредоточить больше внимания на проблеме изучения нейросетевых моделей.

2. Наличие русскоязычного интерфейса и руководства. Это требование обусловлено тем, что предполагалось использование нейросимулятора не только в университетах, но и в школах, а работа с программным обеспечением на иностранном языке, содержащем термины из такой специфичной области, как нейронные сети, вызвала бы проблемы с освоением материала.

3. Наглядность. Необходимо предоставить как можно больше информации в наглядном графическом виде для более быстрого усвоения материала и принципов функционирования аппарата нейронных сетей.

4. Поддержка классических нейросетевых моделей и алгоритмов обучения. Это требование обусловлено тем, что изучение предметов, как правило, начинается со знакомства с классическими исследованиями в данной предметной области, которые являются наиболее простыми, с последующим переходом к рассмотрению более поздних, расширенных и сложных моделей.

5. Наличие несложных вспомогательных средств по анализу данных и оптимизации сети. Наличие таких средств позволяет преодолеть классические проблемы обучения сети, в то же время не перегружая функциональность программы, и не усложняя простоту использования.

6. Доступность. Учебный нейросимулятор должен распространяться бесплатно или за символическую плату, так как приобретение лицензионного программного обеспечения затруднено для многих российских учебных заведений.

7. Возможность расширения функциональности. Должна быть предусмотрена возможность добавления пользовательских модулей, которые могут изменять функционал программы, что позволяет учащимся реализовывать свои идеи по совершенствованию нейросетевого аппарата.

2. Анализ существующих решений

В настоящее время существует большое количество пакетов программного обеспечения, выпускаемых рядом фирм, а также отдельными разработчиками, позволяющих конструировать, обучать и использовать нейронные сети в практических целях. Существующие программы можно разделить на четыре группы: надстройки для пакетов прикладных вычислений; специализированные нейросетевые пакеты; универсальные нейросетевые пакеты; программные симуляторы, разработанные отдельными авторами.

2.1. Надстройки программ прикладных вычислений для поддержки нейросетевых моделей

Примерами таких надстроек являются:

· Matlab_Neural_Network - набор нейросетевых расширений для пакета прикладных вычислений Matlab.

· Statistica_Neural_Networks - набор нейросетевых расширений для пакета прикладной статистики Statistica.

· Excel_Neural_Package - набор библиотек и скриптов для электронных таблиц Excel, реализующий некоторые возможности нейросетевой обработки данных.

К недостаткам указанных надстроек можно отнести высокую стоимость самой среды, включающей стоимость многих функций, которые нагружают интерфейс и не требуются при работе с нейронной сетью. При этом есть необходимость приобретения самой надстройки. Для взаимодействия с пользователем используется интерфейс среды, который не всегда удобен при работе с нейронными сетями. В других надстройках интерфейс вообще отсутствует, а вместо него для работы с сетями используются внутренние языковые средства среды.

2.2 Специализированные нейросетевые пакеты

Эти пакеты предназначены для решения только конкретного класса задач или только конкретной задачи. Причем зачастую методы решения данных задач определяет сам разработчик, что делает неприемлемым их применение в учебном процессе.

В качестве примера можно привести следующие программные продукты:

· Neuroshell Trader - программа создания нейронных сетей для анализа рынков.

· Глаз - программа для обработки аэрокосмической информации.

2.3 Универсальные нейросетевые пакеты

Программные продукты этой категории имеют более специализированный функционал и интерфейс. Они стабильны в работе. Их в свою очередь можно разделить на коммерческие, исследовательские пакеты и нейросимуляторы отдельных разработчиков. Коммерческие пакеты часто стоят немалых денег, имеют слишком много функций, что осложняет их освоение.

Исследовательские нейросимуляторы в большинстве своем распространяются бесплатно, но имеют сложный интерфейс, который труден для освоения учащимися, при этом большинство таких симуляторов разработано в зарубежных странах и не имеет русскоязычной поддержки. Среди симуляторов этой группы наибольшая вероятность найти симулятор, удовлетворяющий всем требованиям. Ниже приведен обзор некоторых симуляторов этой группы.

NeuroSolutions [1]. Очень мощный симулятор нейронных сетей. Поддерживает большое количество механизмов ввода информации, обработки данных, является хорошим конструктором сетей, стабилен, поддерживает расширение за счет пользовательских модулей. К недостаткам можно отнести высокую стоимость, отсут-ствие русскоязычного интерфейса и справки, что усложняет освоение этого продукта.

3. Нейросимулятор 3.0

Работы по созданию собственного симулятора нейронных сетей начали проводиться в Пермском университете с 1999 г. под руководством профессора Л.Н.Ясницкого. Наибольших успехов добились в своих курсовых, дипломных и магистерских работах студенты механико-математического факультета А.В. Швеев, Н.А.Малинин [6, 7], С.В.Конев [8], О.М.Караваева [8], З.И.Сичинава [9-12], С.Н.Бурдин [13]. Нейросимуляторы этих авторов позволили решить многие прикладные задачи и были впервые применены в учебном процессе ПГУ. Однако они не в полной мере удовлетворяли сформулированным выше требованиям. Они были не универсальны, нестабильны в работе, не имели справки, не предусматривали возможность расширения функционала.

В дальнейшем в результате четырехлетней работы, включающей проектирование, кодирование, тестирование, опытную эксплуатацию в учебном и научном процессах, а также многократные корректировки по результатам опытной эксплуатации, автором статьи была создана программа "Нейросимулятор 3.0" [14, 15], удовлетворяющая всем перечисленным требованиям.

Нейросимулятор обладает простым, интуитивно понятным, настраиваемым, удобным интерфейсом. Каждое действие снабжено пиктограммой и кратким пояснением. При задании структуры сеть в реальном времени отображается в графическом виде. Каждая функция активации снабжена окном конфигурации, на котором приводятся ее формула и графическое изображение. В этом же окне можно настраивать параметры активационных функций. То же самое можно производить с функциями начальной инициализации весов и с функциями предобработки данных. Нейросимулятор имеет небольшой размер, не требует установки, нетребователен к аппаратным и программным ресурсам компьютера. За счёт поддержки технологии COM функции нейросимулятора могут быть расширены путем подключения дополнительных модулей, и сам он может быть использован в сторонних программах, поддерживающих данную технологию, для добавления в них поддержки нейронных сетей.

Помимо вышеперечисленных свойств и возможностей в нем также реализован ряд уникальных инструментов, помогающих строить качественные нейросетевые модели исследуемых предметных областей.

3.1 Нейросетевой фильтр выбросов

Суть метода, предложенного в [16], заключается в том, чтобы определить, как наличие или отсутствие каждого примера влияет на процесс обучения сети при одних и тех же прочих условиях, таких как структура сети, параметры алгоритма обучения, начальные значения весовых коэффициентов. При этом используются различные методики анализа результатов работы алгоритма.

3.2 Определение значимости параметров

Этот метод также использует нейронные сети и основывается на следующем факте: после успешного обучения сети в нейросетевой модели содержится информация о наличии и силе зависимости каждого выходного параметра от каждого входного.

Для извлечения этой информации воспользуемся методом анализа ошибки сети на обучающем или тестовом множестве, при этом исключая поочередно каждый из входных параметров и вычисляя сумму абсолютных ошибок обучения:

.(3.1)

Здесь

 - значение j-го выхода нейросети для q-го обучающего примера;

 - желаемое значение j-го выхода для q-го обучающего примера;

J - число нейронов в выходном слое;

Q - количество примеров в обучающем множестве.

Таким образом схематически алгоритм можно описать так: цикл по всем входным параметрам , где - количество входных параметров. Для -й итерации:

1. Присвоить случайное значение -й компоненты каждого входного вектора обучающего множества:

,

где - равномерно распределенная случайная величина, лежащая в том же интервале, что и значения .

2. Вычислить ошибку по формуле (3.1).

3. Вернуть множество примеров к исходному состоянию.

В результате выполнения этой процедуры получим вектор ошибок размерности , в котором -я компонента отражает величину ошибки при исключении -го входного параметра. При исключении значимого параметра ошибка должна увеличиться, так как она вычислена на множестве, в котором по сравнению с начальным множеством отсутствует информация, значимая для модели, которую построила сеть. При исключении незначимого параметра изменение ошибки будет незначительным, так как отсутствие незначимого параметра не оказывает сильного влияния на выход сети. Если построить гистограмму нормы этого вектора, то на ней будет видна относительная значимость каждого входного параметра для данной обучающей выборки.

Пример. Возьмем выборку объемом до 5000 примеров, где компоненты входного вектора : - случайно заданные величины, а зависимость подается на выход нейронной сети. Как известно, традиционные показатели силы зависимости величин, такие как коэффициент линейной корреляции Пирсона, ранговые коэффициенты Кендалла, Спирмена, Фехнера не эффективны, если зависимость не является линейной, или близкой к ней, что подтверждает результат наших вычислений, представленный на рис. 1.

Рис. 1. Результаты вычисления силы зависимости различными методами: a - коэффициент линейной корреляции Пирсона, b - коэффициент ранговой корреляции Спирмена, c - гамма-корреляция, d - корреляция Кендалла Тау

Используя предложенный метод для определения значимости входных пара-метров, на той же выборке получаем результат, приведенный на рис. 2.

Рис. 2. Результат определения значимости при помощи нейросетевой модели

Как видно из гистограммы, значимость каждого из параметров была определена с точностью до 2%, что значительно лучше по сравнению с рассмотренными стандартными методами определения силы зависимости входных и выходных величин.

3.3 Средства поддержки практического применения

Практическому применению обученных сетей препятствовали неудобства, связанные с необходимостью преобразовывать входные параметры к числовому виду, пригодному для сети, необходимость интерпретации результатов, полученных в результате вычислений, а также отсутствие удобного интерфейса ввода-вывода данных для обученной нейронной сети и интерпретации результатов вычислений.

Для преодоления этих трудностей был разработан конструктор предметной области. На основе заданных параметров предметной области конструктор создает основную структуру нейронной сети и задает все необходимые преобразования входных данных и результатов вычислений. На основании этих же данных о предметной области конструктор создает исполняемые файлы с удобным интерфейсом ввода данных обучающего множества и для практического использования обученной нейронной сети.

3.4 Применение

Нейросимулятор был использован при выполнении многих курсовых и дипломных работ в пяти вузах Перми: в Пермском государственном национальном исследовательском университете, в Пермском государственном педагогическом университете, в Пермском национальном исследовательском политехническом университете, в Национальном исследовательском университете "Высшая школа экономики", в Московском государственном университете туризма и сервиса. На его основе разработан лабораторный практикум по нейросетевым технологиям (www.LbAi.ru), входящий вместе с книгами [39-40] в учебно-методический комплекс элективного курса для старших классов средней школы "Искусственный интеллект". Описание некоторых проектов, выполненных на базе нейросимулятора, размещено на сайте Пермской научной школы искусственного интеллекта www.PermAI.ru. В списке литературы приведены научные работы, при выполнении которых в качестве инструментария использовался нейросимулятор 3.0 [17-45].

Таким образом, программа "Нейросимулятор", первоначально созданная для обеспечения учебного процесса вузов, оказалась полезной при решении широкого круга научно-практических задач из области промышленности, экономики, бизнеса, политологии, педагогики, медицины, здравоохранения, истории, криминалистики.

В заключение автор выражает благодарность научному руководителю профессору Леониду Нахимовичу Ясницкому, своим предшественникам - разработчикам ранних версий нейросимулятора, а также всем студентам, магистрантам, аспирантам и сотрудникам университетов и IT-фирм, выполнявшим тестирование и принимавшим участие в опытной эксплуатации нового программного продукта.

Список литературы

1. NeuroSolutions [сайт]. URL: http://www.neurosolutions.com (дата обращения: 05.12.2010).

2. MemBrain Neural Network Editor and Simulator [сайт]. URL: http://www.membrain-nn.de/main_en.htm (дата обращения: 05.12.2010).

3. Stuttgart Neural Network Simulator [сайт]. URL: http://www.ra.cs.uni-tuebingen. de/SNNS/ (дата обращения: 05.12.2010).

4. NeuroPro - нейронные сети, анализ данных, прогнозирование и классификация [сайт]. URL: http://neuropro.ru/ (дата обращения: 05.12.2010).

5. BaseGroup Labs [сайт]. URL: http: //www.basegroup.ru/ (дата обращения: 05.12.2010) BaseGroup Labs [сайт]. URL: http://www.basegroup.ru/ (дата обращения: 05.12.2010).

6. Бондарь В.В., Малинин Н.А. Ясницкий Л.Н. Нейросетевой прогноз потребления электроэнергии предприятиями бюджетной сферы // Вестн. Перм. ун-та. Сер. Математика. Информатика. Механика. 2005. Вып.2. С.23-27.

7. Бондарь В.В., Малинин Н.А., Ясницкий Л.Н. Нейросетевой прогноз потребления электроэнергии, анализ значащих факторов и разработка полезных рекомендаций // Там же. 2006. Вып. 4(4). С.10-17.

8. Караваева М.О., Ясницкий Л.Н. Интеллектуальная система прогнозирования поступления абитуриента в вуз. Свид. о гос. регистрации программы для ЭВМ № 2010610468. Заявка № 2009616169. Зарегистрировано в Реестре программ для ЭВМ 11 января 2010г. М: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ), 2010.

9. Конев С.В., Сичинава З.И. Ясницкий Л.Н. Применение нейросетевых технологий для диагностики неисправностей авиационных двигателей // Вестн. Перм. ун-та. Сер. Математика. Информатика. Механика. 2005. Вып.2. С.43-47.

10. Ясницкий Л.Н., Петров А.М., Сичинава З.И. Сравнительный анализ алгоритмов нейросетевого детектирования лжи // Изв. вузов. Поволжский регион. Технические науки. 2010. №1(13). С.64-72.

11. Ясницкий Л.Н., Петров А.М., Сичинава З.И. Технологии построения детектора лжи на основа аппарата искусственных нейронных сетей // Информационные технологии. 2010. № 11. С. 66-70.

12. Ясницкий Л.Н., Сичинава З.И. Нейросетевые алгоритмы анализа поведения респондентов // Нейрокомпьютеры: разработка и применение. 2011. №10. С. 59-64.

13. Ясницкий Л.Н., Бондарь В.В., Бурдин С.Н. и др. Пермская научная школа искусственного интеллекта и ее инновационные проекты / под ред. Л.Н.Ясницкого. 2-е изд. М.; Ижевск, 2008. 75 с.

14. Черепанов Ф.М., Ясницкий Л.Н. Симулятор нейронных сетей "Нейросимулятор 1.0". Свид. об отраслевой регистрации разработки №8756. Зарегистрировано в отраслевом фонде алгоритмов и программ 12.07.2007.

15. Черепанов Ф.М., Ясницкий Л.Н. Комплекс программ "Лабораторный практикум по нейросетевым технологиям". Свид. об отраслевой регистрации разработки №11088. Зарегистрировано в Отраслевом фонде алгоритмов и программ 01.07.2008.

16. Черепанов Ф.М., Ясницкий Л.Н. Нейросетевой фильтр для исключения выбросов в статистической информации // Вестн. Перм. ун-та. Сер. Математика. Механика. Информатика. 2008. Вып.4 (20). С.151-155.

17. Ясницкий Л.Н. Введение в искусственный интеллект. 3-е изд. М.: Изд. центр "Академия", 2010. 176 с.

18. Петров А.М., Ясницкий Л.Н. Возможности создания нейросетевого полиграфа // Вестн. Перм. ун-та. Сер. Математика. Информатика. Механика. 2005. Вып.2. С.43-47.

19. Ясницкий Л.Н. Искусственный интеллект и новые возможности компьютерного моделирования // Вестн. Перм. ун-та. Сер. Информационные системы и технологии. 2005. Вып.4. С.81-86.

20. Ясницкий Л.Н. Введение в искусственный интеллект. М.: Изд. центр "Академия", 2005. 176 с.

21. Зибатова А.Н., Петров А.М., Сичинава З.И., Сошников А.П., Ясницкий Л.Н. Интеллектуальный полиграф // Российский полиграф. 2006. № 1. С. 76-83.

22. Ясницкий Л.Н. Пермская научная школа искусственного интеллекта и ее инновационные разработки / Перм. пед. гос. ун-т; Перм. техн. гос. ун-т; Перм. гос. ун-т. Пермь, 2007. 36 с.

23. Черепанов Ф.М., Ясницкий Л.Н. Симулятор нейронных сетей "Нейросимулятор 1.0". Свид. об отраслевой регистрации разработки №8756. Зарегистрировано в Отраслевом фонде алгоритмов и программ 12.07.2007.

24. Ясницкий Л.Н. Интеллектуальные информационные технологии и системы: учеб.-метод. пособие / Перм. ун-т. Пермь, 2007. 271 с.

25. Ясницкий Л.Н., Мишланов В.Ю., Полещук А.Н., Федорищев И.Ф. Приоритетные задачи и условия развития интеллектуальных медицинских систем // Перм. мед. журн.. Приложение. 2008. Т.25, №1. С.170-174.

26. Черепанов Ф.М., Ясницкий Л.Н. Нейросетевой фильтр для исключения выбросов в статистической информации // Вестн. Перм. ун-та. Сер. Математика. Механика. Информатика. 2008. Вып.4 (20). С.151-155.

27. Ясницкий Л.Н., Данилевич Т.В. Современные проблемы науки: М.: БИНОМ. Лаборатория знаний, 2008. 294 c.

28. Ясницкий Л.Н. Введение в искусственный интеллект. 2-е изд. М.: Изд. центр "Академия", 2008. 176 с.

29. Ясницкий Л.Н. О возможностях применения методов искусственного интеллекта в политологии // Вестн. Перм. ун-та. Сер. Политология. 2008. Вып.2 (4). С.147-155.

30. Черепанов Ф.М., Ясницкий Л.Н. Лабораторный практикум по нейросетевым технологиям. Свид. о гос. регистрации программы для ЭВМ № 2009611544. Заявка № 2009610226. Зарегистрировано в Реестре программ для ЭВМ 12 марта 2009г. М: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ), 2009.

31. Интеллектуальные информационные системы: учеб.-метод. комплекс курса / авт.-сост. Л.Н.Ясницкий, Ф.М.Черепанов; Перм. гос. пед. ун-т. Пермь, 2008. 30 с.

32. Ясницкий Л.Н. Искусственный интеллект: Популярное введение для учителей и школьников // Информатика: метод. газета для учителей информатики. 2009. №16. С.2-8.

33. Ясницкий Л.Н., Порошина А.М., Тавафиев А.Ф. Нейросетевые технологии как инструмент для прогнозирования успешности предпринимательской деятельности // Российское предпринимательство. 2010. №4(2). С. 8-13.

34. Ясницкий Л.Н. Использование нейросетевых технологий в оценке кредитных рисков // Теория и практика развития банковского дела: наyч.- практ. конф. (Пермь, Главное управление центрального банка Российской федерации по Пермскому краю, июнь 2010г.) / ГУ ЦБР по Пермскому краю. Пермь, 2010. С.18-19.

35. Ясницкий Л.Н. Введение в искусственный интеллект. 3-е изд. М.: Изд. центр "Академия", 2010. 176 с.

36. Семакин И.Г., Ясницкий Л.Н. Искусственный интеллект и школьный курс информатики // Информатика и образование. 2010. № 9. С.48-54.

37. Ясницкий Л.Н., Бржевская А.С., Черепанов Ф.М. О возможностях применения методов искусственного интеллекта в сфере туризма // Сервис plus. 2010 №4. С.111-115.

38. Ясницкий Л.Н., Черепанов Ф.М. О возможностях применения нейросетевых технологий в политологии // Нейрокомпьютеры: разработка и применение. 2010. №8. Вып. 4. С. 47-53.

39. Ясницкий Л.Н. Искусственный интеллект. Элективный курс: учеб. пособие. М.: БИНОМ. Лаборатория знаний, 2011. 240 c.

40. Ясницкий Л.Н., Черепанов Ф.М. Искусственный интеллект. Элективный курс: метод. пособие по преподаванию. М.: БИНОМ. Лаборатория знаний, 2011. 216 с.

41. Думлер А.А., Полещук А.Н., Богданов К.В., Черепанов Ф.М., Ясницкий Л.Н. Опыт создания нейросетевой системы для диагностики сердечно-сосудистых заболеваний // Вестн. Перм. ун-та. Сер. Математика. Механика. Информатика. 2011. Вып.1(5). С.95-101.

42. Ясницкий Л.Н., Зайцева Н.В., Гусев А.Л., Шур П.З. Нейросетевая модель региона для выбора управляющих воздействий в области обеспечения гигиенической безопасности // Информатика и системы управления. 2011. № 3(29). С.51-59.

43. Ясницкий Л.Н., Думлер А.А., Полещук А.Н., Богданов К.В., Черепанов Ф.М. Нейросетевая система экспресс-диагностики сердечно-сосудистых заболеваний // Перм. мед. журн. 2011. № 4. С.77-86.

44. Ясницкий Л.Н., Данилевич Т.В. Современные проблемы науки. М.: БИНОМ. Лаборатория знаний, 2011. 294 c.

45. Корниенко С.И., Айдаров Ю.Р., Гагарина Д.А., Черепанов Ф.М., Ясницкий Л.Н. Программный комплекс для распознавания рукописных и старопечатных текстов // Информационные ресурсы России. 2011. № 1. С.35-37.

Размещено на Allbest.ru