Разработка нейросетевой системы оценки стоимости недвижимости

Размещено на http://www.allbest.ru/

ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Московский институт электроники и математики им. А.Н. Тихонова

Выпускная квалификационная работа - магистерская диссертация

по направлению 01.04.04 Прикладная математика

студента образовательной программы магистратуры «Системы управления и обработки информации в инженерии»

Разработка нейросетевой системы оценки стоимости недвижимости

Клементьев Алексей Дмитриевич



Аннотация

В данной магистерской диссертации рассматривается проблема оценки стоимости недвижимости с помощью искусственных нейронных сетей. В рамках этого исследования была поставлена задача реализации программного обеспечения, способного решить эту задачу с достаточно высокой точностью.

Для решения это вопроса был собран необходимый объем данных с крупнейшего сайта недвижимости в России. После этого была произведена предобработка данных для их последующего использования нейронной сетью.

Затем на языке программирования Python c использованием библиотеки Tkinter было разработано программное обеспечение, позволяющие оценить 95% квартир в Москве с высокой точностью. На тестовом множестве были проанализированы реальные цены и предсказанные. Для оптимального набора параметров нейронной сети был построен график тренировочной и проверочной ошибки. Произведено сравнение коэффициента детерминации с результатом, полученным в программном обеспечении STATISTICA Neural Network.

Полученное программное обеспечение можно использовать на рынке недвижимости в Москве и других городах России.



Abstract

In this master's thesis, the problem of estimating the real estate prices using artificial neural networks is considered. Within the framework of this research, the task was to implement software that could solve this problem with a sufficiently high accuracy.

To solve this issue, the necessary amount of data was collected from the largest real estate site in Russia. After that, the data was preprocessed for their subsequent use by the neural network. Then, in the programming language Python, using the Tkinter library, software was developed to evaluate 95% of flats in Moscow with a high accuracy. Real and predicted prices were analyzed on the test set. For the optimal set of parameters of the neural network, a training and validation error graph was constructed. A comparison of the determination coefficient with the result obtained in the STATISTICA Neural Network software was made.

The received software can be used in the real estate market in Moscow and other cities in Russia.



Введение

Искусственная нейронная сеть - математическая модель, основанная на принципе биологических нейронных сетей человеческого мозга. На вход нейрона подается численная информация, которая умножается на веса, суммируется, обрабатывается с помощью функции активации и передается дальше.

Необходимость их использования возникает в трудно формализуемых задачах прогнозирования, оценивания, распознавания, классификации в экономических, медицинских, технических и других областях.

Данная тема является актуальной, поскольку покупка и продажа недвижимости рано или поздно случается в жизни практически каждого человека.

Раньше для оценки стоимости объектов недвижимости было необходимо наличие нескольких сотен экспертов, которые вручную выполняли механическую работу. С развитием технологий появилось множество программ для оценки стоимости квартир, в том числе существует немало сервисов в сети Интернет, которые исключают субъективность риэлторов. Однако большинство из них позволяют только приблизительно понять реальную стоимость из-за наличия большого количества неучтенных факторов.

Также в 2018 году Сбербанк разработал первую в России нейронную сеть для оценки недвижимости. Это событие является важнейшим этапом для исследования рынка недвижимости с помощью данной технологии.

Была поставлена задача оценки стоимости недвижимости с помощью искусственных нейронных сетей. Первый этап решения проблемы включает сбор данных для обучения, а также их предобработку. Второй этап заключается в создании программного обеспечения, способного оценить стоимость квартир в Москве с достаточно высокой точностью. На третьем этапе необходимо проанализировать предсказанные и реальные результаты, а также сравнить точность оценки в программном обеспечении STATISTICA Neural Network.



1. Краткая история развития искусственных нейронных сетей

В 1943 году Walter Pitts и Warren McCulloch написали статью о том, как может работать нейрон, основанный на работе человеческого мозга. В 1949 году Donald Hebb написал «Организацию поведения», в которой указывалось на то, что нейронные сети человека укрепляются каждый раз, когда они используются, что помогло понять концепцию обучения. Примерно в это же время Frank Rosenblatt, психолог из университета Cornell, работал над системами принятия решений мухи. В 1958 году, в попытке понять этот процесс, он предложил идею персептрона.

В результате, область искусственного интеллекта (ИИ) стала быстро развиваться, а в 1959 году в Стэнфорде Bernard Widrow и Marcian Hoff разработали первые нейронные сети (ADALINE и MADALINE), успешно примененные к реальной проблеме. Это помогло распознать потоковые биты устранить эхо-сигналы с телефонной линии.

В 1960 году Henry J Kelley разработал основы модели обратного распространения. Однако она была неэффективна и не приносила пользу до 1985 года. Kunihiko Fukushima первым стал использовать сверточные нейронные сети. Он разработал сеть под названием Neocognitron, которая позволяла компьютеру «научиться» распознавать визуальные шаблоны.

В 1969 году Marvin Minsky, основатель лаборатории MIT AI, и Seymor Papert, опубликовали книгу, в которой утверждали, что подход Rosenblatt к нейронным сетям не мог эффективно использоваться для многослойных нейронных сетей. Они доказали, что персептрон не способен справиться с функцией «исключающее ИЛИ», независимо от времени тренировки сети. Поэтому научное сообщество пришло к выводу, что дальнейшие исследования в этом направлении ни к чему не приведут. В течение следующих 10-12 лет финансирование области прекратилось, и наступила «зима ИИ».

Прогресс произошел в 1982 году, когда John Hopfild представил свой доклад о своей разработке HopfieldNet, которая впервые использовала двунаправленные связи между нейронами. В 1986 году, Jeff Hinton, вместе с David Rumelhart и Ronald Williams, опубликовали статью под названием «Изучение представлений с помощью обратно распространяющихся ошибок». В этой статье они показали, что нейронные сети со многими скрытыми слоями могут быть эффективно обучены, преодолев слабость персептрона. Это стало возможно благодаря нелинейным функциям.

В 1989 году Yann Le Cun представил первую практическую демонстрацию метода обратного распространения в Bell Labs. Он объединил сверточные нейронные сети с обратным распространением для чтения «рукописных» цифр.

В 1990-x годах из-за преувеличения потенциала ИИ произошел очередной кризис. Однако некоторые люди продолжали работать в области ИИ, в результате были достигнуты значительные успехи. В 1995 году Dana Cortes и Владимир Вапник разработали систему картографирования и распознавания похожих данных. Следующий эволюционный шаг произошел в 1999 году, когда компьютеры начали становиться все быстрее при обработке данных с помощью графических процессоров. В результате вычислительная скорость увеличилась в 1000 раз за 10 лет.

В 2000 годах появилась проблема исчезающего градиента. Было обнаружено, что обучающий сигнал, сформировавшийся в нижних слоях, не достигал верхних. Источником проблемы оказались определенные функции активации.

Примерно в 2006 году Hinton заявил, что знает, как работает мозг, и представил идею глубоких сетей, в которых использовалась ограниченная машина Больцмана.

В 2009 году Fei-FeiLi, профессор в Стэнфорде, запустил ImageNet, собрал бесплатную базу данных из более чем 14 миллионов изображений.

В период между 2009 и 2012 годами рекуррентные нейронные сети и глубокие устойчивые нейронные сети, разработанные в исследовательской группе Schmidhuber, выиграли восемь международных соревнований по распознаванию образов и машинному обучению. Исследователи показали, что глубокие нейронные сети со скрытой марковской моделью могут значительно уменьшить ошибки в задачах распознавания речи с большим количеством словарных слов. [1][2][3]



2. Исследовательский опыт применения нейронных сетей в оценке недвижимости

В начале 1950-х годов началось изучение цен на недвижимость. Rosen предложил использовать регрессионные (гедонистические) модели, применяемые преимущественно в городской местности. Оригинальная методология базировалась на классических, обычно линейных, эконометрических моделях. Однако для таких задач нейронные сети имеет преимущества из-за нелинейности. Также этого помогает избежать проблем, связанных с мультиколлинеарностью. При этом могут возникнут математические сложности и необходимость большого набора данных.

В 1998 Dubin показал метод оценки недвижимости, основанный на максимальной регрессии правдоподобия с коэффициентом детерминации 0,745.

В 2001 году Nhuyen и Cripps использовали множественный регрессионный анализ. Они сделали вывод, что метод лучше использовать на небольшом наборе данных.

В 2008 году S. Peterson собрал 46467 данных с 1999 по 2005 год и показал, что нейронная сеть выдает меньшую ошибку по сравнению с линейной регрессией.

В 2014 году Dr.S.Wubben из нидерландского университета использовал 286189 примеров с 28 атрибутами для оценки недвижимости. Эксперименты проводились с помощью двух Python модулей: SciKit-Learn и WEKA. Коэффициент детерминации был равен 0,4.

В 2008 году Ali Choudhary и Adnam Haider использовали MATLAB для моделирования нейронных сетей с 12 скрытыми слоями. Скорость обучения составила 0,25, количество эпох - 1000 и среднеквадратическая ошибка RMSE = 0,00005.

В 2013 году испанские исследователи Nunez Tabales, Caridady Ocerin и Rey Carmona из университета Кордобы занимались подобной проблемой. Структура их сети состояла из одного скрытого слоя многослойного персептрона со следующими входными параметрами: площадь, возраст здания, этаж, лифт, бассейн, мебель, теннис, терраса, географическая позиция относительно города и другие.

Использовалось линейная функция активации в скрытом слое и логистическая функция в выходном. В качестве функции потерь была взята сумма квадратов ошибок (RSS) Количество примеров в обучающей выборке - 952, тестовой 237. Алгоритм обучения - обратное распространение ошибки. Максимальное количество итераций - 5000. Скорость обучения - 0,1, момент - 0,1. Наиболее важным параметром оказалась площадь и географическая позиция. Коэффициент детерминации - 0,86. Средняя абсолютная ошибка(MAE) - 13,69%.

В 2014 году итальянские ученые Vincenza Chiarazo, Leonardo Caggiani, Mario Marinelli и Micheleо Ttomanelli опубликовали статью, в которой они рассматривают влияние качества окружающей среды на недвижимость. Был выбран алгоритм обратного распространения с тренировочной функцией, которая обновляет веса и смещения с помощью оптимизации Левенберга-Марквардта. Конфигурация сети состояла из 3 скрытых слоев по 20 нейронов в каждом. Набор данных, состоявших из 193 записей, был разделен в соотношении 70/15/15. Количество параметров - 43, например, площадь, количество спален, этаж, лифт, наличие террасы и гаража, загрязнение воздуха, расстояние до железнодорожной станции, плотность населения и другие. Коэффициенты детерминации на тренировочном, валидационном, тестовом наборе данных составляли 0,9734; 0,73895;0,82766 соответственно. Также был проведен анализ чувствительности. Наиболее важные параметры - гараж, сад, терраса, значение углекислого газа, транспортная доступность.

В России задача создания программных систем оценки недвижимости осложняется тем, что у нас отсутствует система обязательного публичного раскрытия информации о сделках с недвижимостью, в связи с чем, достоверная информация о сделках с недвижимостью крайне ограничена.

Исследователи Тульского государственного университета Е.А. Арефьева и Д.С. Костяев оценивали стоимость недвижимости в городе Тула на основе сайта avito.ru в программном обеспечении STATISTICA Neural Networks. [4]

Был определен набор параметров: район, количество комнат, этаж, количество этажей в доме, тип дома, площадь квартиры, вид реализуемого права. Десять процентов экстремальных значений были исключены из обучающей выборки.

Категориальные признаки, такие, как район, тип дома, вид реализуемого права, были закодированы. Для обучения с учителем использовались 3 типа сетей: многослойный персептрон, сеть радиально-базисных функций (РБФ) и обобщенно-регрессионная нейронная сеть. Алгоритмы обучения: алгоритм обратного распространения, быстрые методы второго порядка - спуск по сопряженным градиентам и Левенберга-Маркара. Конфигурация сети состояла из двух скрытых слоев: на первом- 12, на втором - 8. На обучение отводилось 300 объектов, на валидацию и тестирование по 30. Обобщенно-регрессионная нейронная сеть показала очень хорошие результаты на тестовой выборке, в то время как на тестовой выборке ее эффективность оказалась ниже, чем у прочих рассмотренных сетей.

Сеть радиально - базисных функций не продемонстрировала высоких результатов, однако ее достоинством является более высокая скорость обучения. Многослойный персептрон оказался наиболее подходящим вариантом решения задачи определения стоимости жилых квартир.

В 2011 году Герасимов С.А., аспирант Московского государственного горного университета, произвел моделирование нейронных сетей для оценки стоимости аренды офисной недвижимости. [5] По его словам, сравнительный подход для оценки недвижимости, в отличие от нейросетевого, требует множества вычислений, учета большого количества поправок и корректировок. Для моделирования сетей автор применял программное обеспечение STATISTICA. Количество собранных данных - 360. Использованные параметры - цена, площадь, район, класс офиса, обеспеченность парковкой, высота и глубина этажа, качество отделки, расстояние до метро, этаж и этажность. Числовые переменные масштабировались, номинальные преобразовывались в количественные. Район расположения объекта был преобразован на основе рейтинга, определенного методом экспертных оценок. Массив данных разделялся в соотношении 80/10/10. В результате ошибка на тестовом множестве варьировалась от 4 до 9 процентов, при этом архитектура типа РБФ показала лучший результат.

В 2018 году Ясницкий В.Л. использовал нейронные сети в задаче массовой оценки жилой недвижимости города Пермь. [6] Он указал, что программная система оценки нежилой недвижимости была внедрена в Департаменте имущества города Москвы в 2008 году. Использовав предобработку данных и удаление выбросов, они получили среднюю относительную погрешность в 20 %. А в 2008 году для оценки стоимости двухкомнатных квартир в Перми использовался многослойный персептрон с сигмоидными активационными функциями. В результате была создана система с максимальной относительной ошибкой в 16,4 %. Ясницкий В.Л. выбрал 14 параметров объектов жилой недвижимости: район, тип и серия жилого дома, этаж и этажность, площадь объекта, количество лет в эксплуатации, количество санузлов, наличие внутренней отделки, наличие подземной парковки, наличие лифтов и их количество, наличие консьержа и закрытой придомовой территории, степень доступности для общественного транспорта, наличие развитой инфраструктуры. После этого он сформировал 400 примеров, из которых, удалив выбросы, оставил 380. Затем множество было разбито на обучающее (340) и тестирующее (40).

Проектирование сети выполнялось с помощью технологии искусственного интеллекта в Пермской научной школе. В результате была получена оптимальная архитектура сети многослойного персептрона с 14 входными нейронами, одним скрытым слоем с 12 нейронами и выходным слоем с 1 нейроном. В качестве активационных функций использовался гиперболический тангенс. Средняя относительная ошибка тестирования нейронной сети не превысила 4 %. Наиболее значимыми параметрами оказались площадь объекта недвижимости, тип жилого дома, расположение квартиры на первом этаже. Наименее значимым параметром оказался район размещения объекта из-за конфигурации Перми.



3. Анализ факторов, влияющих на формирование цены на недвижимость

На стоимость недвижимости влияет немало признаков, которые можно разделить на три уровня:

факторы, не связанные непосредственно с объектом, но влияющие на процессы, происходящие с недвижимостью на рынке, и, следовательно, на оцениваемый объект,

локальные факторы в масштабе города или района,

факторы, напрямую связанные с объектом недвижимости.

Рассмотрим более подробно каждый пункт. К первому уровню относят следующие признаки:

социальные: уровень жизни, изменение численности населения;

экономические: состояние экономики в стране и мире;

факторы спроса: уровень занятости, уровень доходов, доступность кредитных ресурсов;

факторы предложения: условия финансирования строительства, число объектов, выставленных на продажу;

физические: климатические условия, рельеф, почва, экология;

политические: стабильность, безопасность, совершенство законодательства.

Признаки второго уровня: местоположение относительно других объектов инфраструктуры (центр города, метро, парк, река, озеро, образовательные и развлекательные учреждения, торговые центры, свалка), состояние коммуникаций, условия продаж.

Признаки третьего уровня:

физические параметры: площадь, материал постройки, год постройки, этажность, комфорт, качество строительства и эксплуатации

архитектурно-строительные: стиль, планировка, конструкции, эксплуатационные расходы, стоимость строительства,

Параметры, которые корректируют цену отдельно взятой квартиры по отношению к среднему уровню цен, делятся на 3 категории:

· постоянные,

· условно - постоянные,

· условно - переменные.

Постоянные параметры квартиры отражают характеристики, которые относятся к дому в целом, например, район, тип здания.

К условно-постоянным относят факторы, которые, как правило, не могут быть изменены владельцами. Например: общая площадь, этаж, материал стен, планировка, естественная освещенность помещения, высота потолков, ориентация квартиры, лоджии, балконы, наличие лифта, мусоропровода, охраны или консьержа.

К условно-переменным относятся параметры, связанные с комфортностью жилища: состояние полов, потолка, стен, окна и двери, инженерные коммуникации, наличие телефона.

Особенность российского рынка жилой недвижимости заключается в том, что люди стремятся жить в центре города, а стоимость остальных районов пропорционально снижается по мере удаления от центра. Также увеличение площади квартиры ведет к снижению стоимости квадратного метра. А расположение квартир на крайних этажах понижает их стоимость в среднем на 5%. Ухудшение экологии, рост преступности в микрорайоне отрицательно влияет на стоимость. Строительство новых станций метро достаточно серьезный повод для удорожания жилья. При всех прочих равных условиях квартира на окраине без метро стоит дешевле на 10- 20%. Любые изменения инфраструктуры микрорайона влияют на уровень цен - строительство торговых и развлекательных центров, открытие престижных школ и спортивных учреждений. [7] [8] [9] [10] [11]



4. Биологическая нейронная сеть

Первоначальная цель исследования нейронной сети представляла собой попытку понять, как люди думают и как функционирует человеческий мозг. Нейрофизиологические знания сделали возможным создание упрощенных математических моделей, которые можно использовать в нейрокомпьютинге для решения практических задач из искусственного интеллекта. Это означает, что нейрофизиология служит здесь источником вдохновения, а предлагаемые модели нейронных сетей расширяются и уточняются независимо от того, моделируют ли они мозг человека или нет.

Нервная система человека обеспечивает ответ на внешние раздражители и внутренние состояния организма. Этот процесс осуществляется путем передачи импульсов от датчиков (рецепторов), которые позволяют получать механические, термические, химические и световые стимулы, к другим нервным клеткам, которые обрабатывают эти сигналы и посылают их соответствующим исполнительным органам, так называемым эффекторам. Эти импульсы, проходящие через проекционные каналы, где информация предварительно обрабатывается, сжимается, фильтруется и поступает в кору головного мозга, которая является верхним контрольным центром нервной системы. На поверхности мозга может быть выделено около шести взаимно связанных между собой областей проекции, соответствующие чувствам, где выполняется параллельная обработка информации. Комплексная обработка информации, которая является основой для сознательного контроля эффекторной деятельности, продолжается последовательно в ассоциативных областях.

Нейрон - это нервная клетка, которая является основным функциональным элементом строения нервной системы. По оценкам, в мозге человека находятся около нервных клеток, и каждый нейрон может быть связан примерно с 5000 других нейронов. Нейроны являются автономными клетками, которые специализируются на передаче, обработке и хранении информации, которая необходима для реализации жизненно важных функций организма. Структура нейрона схематически изображена на рис. 1.

Рис. 1. Биологическая модель нейрона

В упрощенном виде сигналы между нейронами могут быть представлены действительными числами, количественно определяющими интенсивность входящих или исходящих сигналов. Точка передачи сигнала от одного нейрона к другому называется синапсом. Внутри синапса поступающий сигнал может быть усилен или ослаблен. Это представлено весом синапса. Один нейрон может иметь до 103105 таких точек входа. Вход к нейрону организован вдоль дендритов. Сигнал передается от аксона к дендритам через синаптические ворота, проницаемость которых регулирует соответствующие интенсивности сигнала.

Сигналы от других нейронов могут быть либо возбуждающими (положительными) либо тормозящими (отрицательными). Когда взвешенная сумма положительных и отрицательных вкладов от других нейронов становятся больше определенного порога возбуждения, нейрон будет генерировать электрический импульс, который будет передан по выходному каналу - аксону. В конце аксона есть тысячи выходных ветвей, окончания которых образуют синапсы других нейронов в сети. В результате, нейрон может генерировать серию импульсов со средней частотой 1- Гц.

Первый принцип кодирования и представления информации в мозге - избыточность. Это означает, что каждая часть информации обрабатывается избыточным набором нейронов, так что в случае частичного повреждения головного мозга информация полностью не теряется. Каждый нейрон может участвовать в кодировании многих частей информации в сочетании с другими нейронами. Таким образом, информация связана с распределенной активностью наборов нейронов.

На ранней стадии развития человеческого мозга (первые два года с рождения) в секунду формируется около 1 миллиона синапсов. Синапсы затем изменяются через процесс обучения (пластичность нейрона). Нервная система человека имеет очень сложную структуру, которая все еще интенсивно исследуется. Однако вышеупомянутых упрощенных нейрофизиологических принципов будет достаточно, чтобы сформулировать математическую модель нейронной сети. [12] [13]



5. Искусственная нейронная сеть

Нейронная сеть состоит из формальных нейронов, которые соединены таким образом, что каждый выход нейрона служит входом большого количества нейронов. Количество нейронов и их взаимосвязь определяют архитектуру (топологию) нейронной сети. Входные и выходные нейроны представляют собой рецепторы и эффекторы соответственно, и подключенные рабочие нейроны создают соответствующие каналы между ними для распространения соответствующих сигналов. Эти каналы называются путями в математической модели. Распространение сигнала и обработка информации реализуются путем изменения состояний нейронов на этом пути. Состояния всех нейронов в сети образуют состояние нейронной сети и синаптические веса, связанные со всеми соединениями, представляют собой конфигурацию нейронной сети.

Нейронная сеть постепенно развивается во времени, в частности, изменяются взаимосвязи, а также состояния нейронов, и адаптируются веса. Можно разбить глобальную динамику нейронной сети на три режима (фазы) работы сети: архитектурный (топологическое изменение), вычислительный (изменение состояния) и адаптивный (изменение конфигурации). Эта классификация не соответствует нейрофизиологической реальности, так как в нервной системе все соответствующие изменения происходят одновременно. Вышеприведенная динамика нейронной сети обычно определяется начальным условием и математическим уравнением или правилом, которое определяет развитие топологии, состояния, конфигурации во времени.

Обновления, контролируемые этими правилами, выполняются в соответствующих режимах работы нейронной сети. Это означает, что для того, чтобы указать конкретную модель нейронной сети, достаточно определить ее архитектурную, вычислительную и адаптивную динамику. В следующих разделах описаны общие принципы и различные типы этих трех динамических характеристик, которые служат основой для классификации моделей нейронных сетей. [13]

5.1 Математическая модель нейрона

Формальная модель нейрона имеет ряд упрощений по сравнению с биологической, и некоторые ее конструкции могут не соответствовать реальной функциональности биологических нейронов. Однако из-за его простоты в вычислениях и его эффективности на практике, это одна из наиболее широко используемых моделей нейронов в настоящее время. Его схематичная структура представлена на рис. 2.

Рис. 2. Искусственная модель нейрона

Формальный нейрон имеет входов, обычно вещественных:, которые моделируют сигналы, поступающие от дендритов. Входы соответствуют синаптическим весам , которые измеряют их проницаемость. Согласно нейрофизиологии, некоторые из этих синаптических весов могут быть отрицательными, чтобы обозначить тормозной характер. Взвешенная сумма входных значений представляет собой уровень возбуждения нейрона:



Значение уровня возбуждения после достижения порога индуцирует выход (состояние) нейрона, который моделирует электрический импульс, генерируемый аксоном. Нелинейный рост выходного значенияпосле достижения порогового уровня возбуждения определяется функцией активации (передачи, сжатия) . Простейшим типом функции активации является жесткий ограничитель, который имеет следующую форму:

Формальной манипуляцией можно сделать так, что функция имеет нулевой порог, а фактический порог рассматривается как дополнительный вес (смещение)дополнительного входас постоянным значением. Тогда математическая формулировка функции нейрона определяется следующим выражением:

5.2 Архитектурная динамика

Архитектурная динамика определяет топологию сети и ее возможные изменения. Обновление архитектуры обычно применяется в рамках адаптивного режима таким образом, что сеть снабжается дополнительными нейронами и соединениями, когда это необходимо. Однако в большинстве случаев архитектурная динамика предполагает фиксированную топологию нейронной сети, которая больше не изменяется.

Различают два типа архитектуры: циклическую (реккурентную) и ацикличную (прямую) сеть (рис. 3). В циклической топологии существует группа нейронов в сети, которые связаны в кольцевой цикл. Это означает, что в этой группе нейронов выход первого нейрона представляет собой вход второго нейрона, выход которого снова является входом для третьего нейрона и т. д. Самый простой цикл - это обратная связь с нейроном, выход которого одновременно служит его входом. Максимальное количество циклов содержится в полной топологии, в которой выход каждого нейрона представляет собой вход для всех нейронов. Напротив, нейронные сети с прямой связью не содержат никакого цикла, и все пути идут в одном направлении.

Рис. 3. Циклическая и ациклическая архитектура

Нейроны в сетях с прямой связью всегда могут быть разделены на упорядоченные слои, так что соединения между нейронами идут только от нижних слоев к верхним и могут пропускать один или несколько слоев. В частности, в многослойной нейронной сети нулевой (нижний) входной слой состоит из входных нейронов, тогда как последний (верхний) выходной слой состоит из выходных нейронов. Оставшиеся скрытые (промежуточные) слои содержат скрытые нейроны. Уровни нумеруются, начиная с нуля, что соответствует входному уровню, который затем не включается в число сетевых уровней (например, двухслойная нейронная сеть состоит из входного, одного скрытого и выходного уровней). [13]

5.3 Вычислительная динамика

Динамика вычислений определяет начальное состояние сети, и правило для ее обновлений во времени, при условии, что сетевая топология и конфигурация зафиксирована. В начале вычислительного этапа определяются состояния входных нейронов, а остальные нейроны оказываются в начальном состоянии.

Вычислительная динамика также определяет функцию нейронов, формальная форма которых обычно одинакова для всех (не входящих) нейронов в сети. Была рассмотрена только функция (1), которая связана с биологической операцией нейронов. Однако в моделях нейронных сетей обычно используются различные функции нейронов, которые могут не соответствовать какой-либо нейрофизиологической картине, но они разработаны только с помощью математической или физической теорией. Рассмотрим некоторые из них.

Линейная функция активации Для этой функции производная является константой. Это означает, что градиент не имеет отношения к, и спуск будет постоянный. Если есть ошибка в предсказаниях, изменения обратным распространением постоянны и не зависят от изменения входной дельты. В независимости от количества слоев, если все функции активации линейны, то активационная функция последнего слоя -- это линейная функция первого слоя.

Сигмоидную функцию (рис. 4) хорошо использовать для классификационных задач. Небольшие изменения в интервале [-2, 2] приводят к значительным изменениям . Другое преимущество перед линейной функцией заключается в том, что выходные значения лежат в отрезке (0,1). Поэтому ее можно использовать для предсказания возможностей. Также она монотонна и дифференцируема. На сегодняшний день это самая распространенная функция активации. Однако у нее есть немало проблем. Изменения большие значений практически не влияют на . Это порождает проблему «исчезающих градиентов». Сеть отказывается учиться дальше или резко замедляется. Она не центрирована относительно 0 и требует больших вычислительных ресурсов по сравнению с другими нелинейными функциями.

Рис. 4. Сигмоидная функция активации

Функция гиперболического тангенса - 1 (рис.5.) является масштабированной сигмоидой. Градиент для такой функции сильнее, чем градиент сигмоиды, то есть производные более крутые. Также она имеет проблему «исчезающих градиентов».

Рис. 5. Функция активации гиперболического тангенса



Блок линейной ректификации выдает на выходе и 0 в противном случае (рис.6). В отличие от линейной функции активации она нелинейна. Также она не имеет никаких границ и не требует больших ресурсов. Однако для отрицательных значений градиент может идти в направлении 0. В результате веса не будут корректироваться во время спуска. Это проблема может привести к тому, что несколько нейронов «умрут» и никак не будут реагировать. Однако ее можно решить, превратив горизонтальную линию в 0,01.

Рис. 6. Блок линейной ректификации

Функция активации была введена в 2001 году (рис. 7). Выходные значения, создаваемые сигмоидой и тангенсом, имеют верхний и нижний пределы, тогда как функция softplus производит выходы в масштабе (0, + ?). В этом и заключается ее отличие от упомянутых выше функций.

Рис. 7. Функция активации softplus



В качестве альтернативы гиперболическому тангенсу можно рассмотреть активационную функцию softsign (рис.8). При этом тангенс сходится экспоненциально, тогда, как softsign сходится полиномиально. Выходное значение также лежит в интервале [-1;1].[13][15][16][17]

Рис. 8. Сравнение гиперболического тангенса и softsign

5.4 Адаптивная динамика

Адаптивная динамика определяет начальную конфигурацию сети, и способ адаптации весов в сети во времени. Все потенциальные сетевые конфигурации образуют весовое пространство нейронной сети.

В начале этого режима веса всех соединений сети инициализируются, например, случайными значениями, при этом предполагается дискретное время адаптации. Цель адаптации - найти такую конфигурацию сети в весовом пространстве, которая реализует желаемую функцию в вычислительном режиме. Вычислительный режим используется для соответствующих вычислений функций сети, в то время как адаптивный режим служит для обучения этой функции.

Существуют большое количество алгоритмов обучения для различных моделей нейронных сетей. Например, наиболее известным и широко применяемым является алгоритм обратного распространения многослойной нейронной сети. Обучение сети представляет собой сложную задачу нелинейной оптимизации, решение которой может быть очень трудоемким даже для небольших задач.

Нейронная сеть должна быть сконфигурирована таким образом, чтобы набор входов производил желаемый набор выходов. Существуют различные способы установления связей. Один из способов - установить веса явно. Другой способ - тренировать нейронную сеть, показывая ей обучающие образцы и позволяя ей изменять свои веса в соответствии с некоторым правилом обучения.

Требуемая сетевая функция задается с помощью тренировочного набора, состоящего из входных данных сети и соответствующего желаемого выхода, который называют образцом обучения. Такой способ моделирует преподавателя, который информирует адаптивный механизм о правильном сетевом выходе, соответствующем заданному сетевому вводу. Поэтому этот тип адаптации называется контролируемым обучением. Пары вход-выход могут быть предоставлены внешним преподавателем или системой, которая содержит сеть. Иногда вместо того, чтобы давать желаемое значение выходного значения сети, учитель оценивает качество фактических текущих ответов. Это называется обучением с подкреплением.

Другой тип адаптации - неконтролируемое обучение или самоорганизация, при которой учитель недоступен. В этом случае обучающий набор содержит только входы, и нейронная сеть сама производит шаблоны обучения и обнаруживает их глобальные функции. В результате система должна обнаруживать статистически значимые особенности входной совокупности.

Сети с контролируемым обучением обычно используются для задач приближения функций. В качестве примеров можно привести линейные рекурсивные сети с наименьшим квадратом (LMS), сети обратного распространения и радиально-базисные сети.

Сети прямого распространения без контролированного обучения используются для извлечения важных свойств входных данных. К этой категории относятся две основные группы методов: сети Хэбба, выполняющие компонентный анализ входных данных, и конкурентные сети, используемые для выполнения квантования векторного обучения. Самоорганизующиеся карты функций Кохонена также относятся к этой группе.

Сети обратного распространения используются для изучения или обработки временных характеристик входных данных, и их внутреннее состояние меняется со временем. В их число входят реккурентные сети обратного распространения и адаптивные резонансные сети. [13]

5.5 Персептрон

Первой успешной моделью нейронной сети в истории нейрокомпьютинга была сеть персептронов (рис. 2). Архитектурная динамика сети представлена одним слоем. Это означает, что сеть состоит из входных нейронов, каждый из которых является входом для всех выходных нейронов. Обозначим состояния входных нейронов и бинарные состояния выходных нейронов Следовательно, представляют синаптические веса, связанные с соединением, ведущим от - го входного нейрона к - му выходному нейрону . - смещение - го выходного нейрона, соответствующего входу .

Вычислительная динамика сети персептронов определяет, как вычисляется сетевая функция. В этом случае состояния нейронов во входном слое назначаются сетевому входу, а выходные нейроны вычисляют их двоичные состояния, определяющие выход сети. Это означает, что каждый персептрон сначала вычисляет свой уровень возбуждения как соответствующую аффинную комбинацию входов:



.

Коэффициенты задают конфигурацию сети. Тогда состояние персептрона определяется по его уровню возбуждения, применив функцию активации: . То есть функция сети , которая зависит от конфигурации , описывается следующим выражением:

Обучение - это рекурсивная процедура изменения весов из заданного набора шаблонов ввода-вывода. Для одного персептрона цель учебной процедуры - найти плоскость принятия решений, которая разделяет два класса заданных векторов обучения ввода-вывода. Как только обучение будет завершено, каждый входной вектор будет классифицирован в соответствующий класс. Один персептрон может классифицировать только линейно разделимые шаблоны. Процедура обучения персептрона является примером контролируемой коррекции ошибок. В адаптивном режиме желаемая функция сети персептронов определяется обучающим набором:

, k = 1,…, p},

где - вход k-го тренировочного образца, - соответствующий бинарный выход.

Цель адаптации - найти такую конфигурацию , что для каждого входа для тренировочного набора сеть отвечает желаемым выходом . Мы предполагаем, что нетренированный персептрон может генерировать неправильный выход из-за некорректных значений весов. Закон обучения персептрона (процедура сходимости), может быть описана следующим образом:

I. В начале адаптации в момент времени 0 веса конфигурации инициализируются случайными числами, близкими к нулю,, где .

II. Сеть персептронов имеет дискретную адаптивную динамику. На каждом шаге адаптации времени = 1, 2, 3,... один шаблон из обучающего набора представляется сети, которая пытается его изучить. Фактический выход сравнивается с желаемым выходом , а ошибка рассчитывается как.

III. На каждом шаге веса адаптируются следующим образом:

=+,

где

Поскольку изменения должны быть небольшими, нужно добавить долю к вектору весов для создания нового вектора. Коэффициент обучения должен быть скорректирован для обеспечения сходимости алгоритма. Полное выражение (3) можно переписать как:

=+,

где определяет различие между действительнымk-го входного образца и желательным выходом. Если эта ошибка равна нулю, базовые веса не изменяются. В противном случае эта ошибка может быть либо 1, либо -1, так как рассматриваются только двоичные выходы.

Изобретатель персептрона Rosenblatt показал, что адаптивная динамика гарантирует нахождение конфигурации сети (при условии, что она существует) в адаптивном режиме после конечного числа шагов, для которых она правильно классифицирует все обучающие шаблоны (ошибка относительно обучающего набора равна нулю), и, таким образом, выполняется условие (4).

Учитывая, что сеть персептронов способна вычислять только ограниченный класс функций, значимость этой модели невелика. Кроме того, теорема о сходимости адаптивного режима не гарантирует эффективность обучения, что подтверждается многолетними экспериментами. Также сеть персептронов может использоваться только в тех случаях, когда классификационные объекты разделяются гиперплоскостями во входном пространстве. Однако эта простая модель является основой более сложных парадигм, таких как общая нейронная сеть прямого распространения с алгоритмом обратного распространения. [13]

5.6 Многослойные нейронные сети

Рис. 9 иллюстрирует простую трехслойную нейронную сеть, состоящую из входного уровня, скрытого слоя и выходного уровня, которые соединены между собой изменяющимися весами.

Рис. 9. Нейронная сеть с тремя слоями



Существует единый элемент смещения, который подключается к каждому нейрону внутреннего и выходного слоя. Каждый скрытый элемент вычисляет взвешенную сумму своих входов. То есть, активация сети является внутренним продуктом входов с весами в скрытом блоке. Таким образом, это можно записать как:

5

где - индекс элемента входного слоя, - внутреннего. Каждый скрытый элемент выдает сигнал, который является нелинейной функцией его активации . На рис. 9 представлена простая пороговая функция:

,

но другие функции обладают более полезными свойствами и, следовательно, широко используются. Функция называется функцией активации. Каждый выходной элемент вычисляет свою функцию активации, основанную на сигналах скрытых нейронов:

,

где обозначает индекс элементов выходного слоя. В примере всего один выходной элемент. В более общем случае обозначим его, как



Используя формулы (5) - (8), получаем

.

В общем случае функция активации не должна быть знаковой, так как требуется, чтобы функция активации была непрерывной и дифференцируемой. При этом функции в разных слоях могут различаться. Используемые в данной работе функции активации были рассмотрены в главе 4.3. [13]

5.6.1 Многослойный персептрон

Невозможность аппроксимации оператора XOR одним персептроном привела к созданию многослойных персептронов (МП). Это глубокая искусственная нейронная сеть прямого распространения, состоящая из более чем одного персептрона. Она содержит входной уровень для приема сигнала, выходной уровень, и произвольное количество скрытых слоев. МП с одним скрытым слоем способен аппроксимировать любую непрерывную нелинейную функцию. Они часто применяются при контролируемом обучении: тренируются по набору пар ввода-вывода и учатся моделировать зависимость между ними. Для обучения используется алгоритм обратного распространения ошибки.

Преимущества МП:

· возможность изучения нелинейных моделей,

· возможность изучения моделей в режиме реального времени,

· могут использовать произвольные функции активации,

· много областей применения - регрессия, классификация, распознавание речи, распознавание образов.

Недостатки МП:

· функция аппроксимации имеет множество локальных минимумов, что затрудняет поиск глобального,

· инициализации весов случайными числами приводят к разной точности,

· требуется настройки ряда гиперпараметров, таких как количество, скрытых нейронов, слоев и итераций,

· чувствительность к масштабированию функций. [19]

5.7 Алгоритм обратного распространения

Установка весов на основе обучающих образцов и желаемого результата является основной проблемой. Метод обратного распространения является одним из самых простых и наиболее популярных методов для контролируемого обучения многослойных нейронных сетей. Обратное распространение позволяет вычислить эффективную ошибку для каждой скрытого элемента и получить правило обучения для весов.

Сети имеют два основных режима работы: прямое распространение и обучение. Первая операция заключается в представлении шаблона входным элементам и передача сигналов через сеть для получения выходов. Обучение с учителем состоит в представлении шаблона ввода и изменении параметров сети, чтобы приблизить фактические результаты к желаемым (целевым) значениям обучения.

Итак, базовый подход в обучении - начать с неподготовленной сети, представить образцы на входном уровне, передать сигналы через сеть и определить выход на выходном уровне. Выходы сравниваются с целевыми значениями; любая разница соответствует ошибке. Эта функция ошибки является некоторой скалярной функцией весов и минимизируется, когда выходы сети соответствуют желаемым выходам. В результате происходит корректировка весов.

Рассмотрим ошибку обучения как сумму квадрата разности между желаемым выходом , заданным учителем, и фактическим выходом :

,

где и - целевой и выходной вектор сети с длиной , обозначает все веса сети.

Правило обратного распространения основано на градиентном спуске. Веса инициализируются случайными значениями, а затем они изменяются в направлении, которое уменьшит ошибку:

где - скорость обучения, которая показывает относительное изменение весов.

Из уравнения (9) видно, что функция критерия никогда не может быть отрицательной; правила обучения гарантируют, что обучение остановится. Этот итеративный алгоритм требует взять вектор весов на итерации и обновить его:

,

Перейдем к оценке уравнения (10) для трехслойной сети. Сначала рассмотрим веса от скрытого слоя к выходному. Поскольку ошибка явно не зависит от , мы должны использовать правило дифференцирования:

,



где чувствительность элемента определяется так:

Она описывает изменение общей ошибки с помощью активации и определяет направление поиска в весовом пространстве. Необходимо предположить, что функция активации дифференцируема. Тогда дифференцируем уравнение (9) и находим для выходного элемента:

Последняя производная уравнения (11) определяется с помощью уравнения (7):

Эти результаты задают правило обучения (обновления весов) от скрытого до выходного слоя:

Теперь рассмотрим правило обучения от входного до скрытого слоя. Из выражения (10) получаем

.



Преобразуем первый элемент правой части формулы (14):

=

Окончательная сумма по выходным единицам в уравнении (15) выражает, влияние выхода скрытого элемента на ошибку каждого выхода. Это позволяет вычислить эффективную целевую активацию для каждого скрытого элемента. Для определения чувствительности скрытого элемента нужно использовать формулы (12), (15):

Таким образом, получено правило обучения для весов входного - скрытого слоя:

Уравнения (13) и (16) вместе с протоколами обучения, описанными ниже, задают алгоритм обратного распространения ошибки. Он так называется, потому что во время обучения ошибка должна быть передана из выходного слоя обратно на скрытый уровень, чтобы выполнить обучение весов входного - скрытого слоя по формуле (16). Поэтому это градиентный спуск в многоуровневых моделях, который позволяет вычислять производные от критериальной функции по всем весовым коэффициентам модели.

Как и во всех процедурах градиентного спуска, точность алгоритма зависит от начальной точки. Если бы начальные веса выходного уровня всегда были бы равны нулю, обратная ошибка также была бы равна нулю, и весы входного - скрытого слоя никогда не изменились бы. Именно по этой причине мы начинаем процесс со случайными значениями весов. [13]

5.8 Момент

Поверхности ошибок часто имеют вид плато, в которых наклон очень мал. Это возникает, когда имеется слишком много весов, и, следовательно, ошибка может зависеть только от одного из них. Момент основан на понятии физики - движущиеся объекты имеют тенденцию продолжать движение, если не действуют внешние силы, - позволяет сети быстрее учиться. Подход заключается в том, чтобы изменить правило обучения в стохастическом методе обратного распространения, чтобы включить некоторую часть предыдущего обновления веса. Пусть , и пусть - изменение , тогда представляет обучение с моментом. Очевидно, что не должно быть отрицательным, а для стабильности должно быть меньше 1. Если = 0, алгоритм совпадает со стандартным обратным распространением. Если = 1, то изменение, предлагаемое обратным распространением, игнорируется, а вектор весов движется с постоянной скоростью. Обычно используется значение, равное 0,9. Таким образом, использование момента «усредняет» изменения в весах при стохастическом обучении. Увеличивая стабильность, он может ускорить процесс обучения, даже вдалеке от плато. [13]



5.9 Тренировочные протоколы

Мы описываем общее количество представлений образцов эпохой. Иными словами, одна эпоха соответствует одному представлению всех образцов в обучающем наборе.

Три наиболее полезных протокола обучения: стохастический, пакетный и онлайн. Все три алгоритма завершаются, когда изменение критериальной функциименьше некоторого заданного значения .

В стохастическом алгоритме обратного распространения шаблоны обучения выбираются случайным образом из тренировочного набора, а веса сети обновляются для каждого представления шаблона. Этот метод называется стохастическим, поскольку данные обучения можно считать случайной величиной. При этом обновления весов могут уменьшить ошибку при представлении одного образца, но при этом увеличить погрешность на полном наборе тренировок. Однако, учитывая большое количество индивидуальных обновлений, общая ошибка уменьшается.

При тренировке алгоритмом обратного распространения он-лайн каждый шаблон представляется один раз и только один раз; нет памяти для хранения образцов.

При пакетном обучении все шаблоны представлены в сети до начала обучения. Практически в каждом случае нужно сделать несколько проходов через данные обучения. В таком случае нет необходимости выбирать шаблоны случайным образом, потому что веса обновляются только после того, как все шаблоны были представлены один раз.

Каждый из трех протоколов обучения имеет свои сильные и слабые стороны. Он-лайн обучение используется при большом наборе обучающих данных или когда затраты на память слишком высоки. Большинство практических проблем нейронных сетей рассматриваются с периодическими или стохастическими протоколами. Пакетное обучение обычно медленнее, чем стохастическое. Пакетное обучение допускает использование методов второго порядка, которые не могут быть легко включены в стохастические протоколы обучения. [13]

До этого момента ошибка рассматривалась для одного шаблона, но на самом деле нужно определить ошибку для всех данных в наборе обучения:

5.10 Кривые обучения и критерий остановки

Нейронные сети редко используются просто для запоминания набора данных. Поскольку это можно сделать более эффективно, использую численные алгоритмы. Обычно сети применяются на новых данных, где они должны показывать хорошую точность, то есть производить обобщение. Как правило, данные разделяются на три набора - тренировочный, валидационный и тестовый B.D.Ripley привел их определения:

· Тренировочный набор используется для обучения, то есть подбора весов сети;

· Набор валидации (проверки) применяется для настройки параметров сети (не весов, а архитектуры);

· Тестовый набор необходим только для подтверждения эффективности сети.

До обучения сети ошибка на учебном наборе, как правило, высока. В течение этого процесса она становится ниже, как показано на кривой обучения (рис. 10).

Ошибка обучения для каждого образца достигает асимптотического значения, которое зависит от ошибки Байеса, количества данных обучения и количества весов в сети: чем выше ошибка Байеса и тем меньше количество таких весов, тем выше будет асимптотическое значение. Если скорость обучения не слишком высока, ошибка имеет тенденцию к монотонному уменьшению. Средняя ошибка в независимом тестовом наборе всегда выше, чем на обучающем наборе, и, хотя она обычно уменьшается, она может увеличиваться или колебаться.

...