Искусственный нейрон
Искусственный нейрон, предпосылки его создания, основные функции активации, реализация в виде алгоритма либо структуры. Линейная передаточная функция. Сигмоидальная передаточная функция. Гиперболический тангенс, радиально-базисная функция передачи.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | реферат |
| Язык | русский |
| Дата добавления | 17.07.2013 |
| Размер файла | 114,4 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Искусственный нейрон, предпосылки его создания, функции активации, реализация в виде алгоритма либо структуры.
Искумсственный нейромн (Математический нейрон Маккалока -- Питтса, Формальный нейрон[1]) -- узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента -- линейной комбинации всех входных сигналов. Данную функцию называют функцией активации[2] или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети -- соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера.
Схема искусственного нейрона
1.Нейроны, выходные сигналы которых поступают на вход данному
2.Сумматор входных сигналов
3.Вычислитель передаточной функции
4.Нейроны, на входы которых подаётся выходной сигнал данного
5.wi -- веса входных сигналов
Математическая модель искусственного нейрона была предложена У. Маккалоком и У. Питтсом вместе с моделью сети, состоящей из этих нейронов. Авторы показали, что сеть на таких элементах может выполнять числовые и логические операции[4]. Практически сеть была реализована Фрэнком Розенблаттом в 1958 году как компьютерная программа, а впоследствии как электронное устройство -- перцептрон. Первоначально нейрон мог оперировать только с сигналами логического нуля и логической единицы[5], поскольку был построен на основе биологического прототипа, который может пребывать только в двух состояниях -- возбужденном или невозбужденном. Развитие нейронных сетей показало, что для расширения области их применения необходимо, чтобы нейрон мог работать не только с бинарными, но и с непрерывными (аналоговыми) сигналами. Такое обобщение модели нейрона было сделано Уидроу и Хоффом[6], которые предложили в качестве функции срабатывания нейрона использовать логистическую кривую.
Функции активации.
Линейная передаточная функция
Сигнал на выходе нейрона линейно связан со взвешенной суммой сигналов на его входе.
f(x) = tx
где t - параметр функции. В искусственных нейронных сетях со слоистой структурой нейроны с передаточными функциями такого типа, как правило, составляют входной слой. Кроме простой линейной функции могут быть использованы её модификации. Например полулинейная функция (если её аргумент меньше нуля, то она равна нулю, а в остальных случаях, ведет себя как линейная) или шаговая (линейная функция с насыщением), которую можно выразить формулой
При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).
Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.
Пороговая передаточная функция
Другое название - Функция Хевисайда. Представляет собой перепад. До тех пор пока взвешенный сигнал на входе нейрона не достигает некоторого уровня T -- сигнал на выходе равен нулю. Как только сигнал на входе нейрона превышает указанный уровень -- выходной сигнал скачкообразно изменяется на единицу. Самый первый представитель слоистых искусственных нейронных сетей -- перцептрон[11] состоял исключительно из нейронов такого типа[5]. Математическая запись этой функции выглядит так:
Здесь T = ? w0x0 -- сдвиг функции активации относительно горизонтальной оси, соответственно под x следует понимать взвешенную сумму сигналов на входах нейрона без учёта этого слагаемого. Ввиду того, что данная функция не является дифференцируемой на всей оси абсцисс, её нельзя использовать в сетях, обучающихся по алгоритму обратного распространения ошибки и другим алгоритмам, требующим дифференцируемости передаточной функции.
искусственный нейрон алгоритм радиальный
Сигмоидальная передаточная функция
Один из самых часто используемых, на данный момент, типов передаточных функций. Введение функций сигмоидального типа было обусловлено ограниченностью нейронных сетей с пороговой функцией активации нейронов -- при такой функции активации любой из выходов сети равен либо нулю, либо единице, что ограничивает использование сетей не в задачах классификации. Использование сигмоидальных функций позволило перейти от бинарных выходов нейрона к аналоговым[12].
Функции передачи такого типа, как правило, присущи нейронам, находящимся во внутренних слоях нейронной сети.
Логистическая функция
Математически эту функцию можно выразить так:
Здесь t -- это параметр функции, определяющий её крутизну. Когда t стремится к бесконечности, функция вырождается в пороговую. При t = 0 сигмоида вырождается в постоянную функцию со значением 0,5. Область значений данной функции находится в интервале (0,1). Важным достоинством этой функции является простота её производной:
То, что производная этой функции может быть выражена через её значение облегчает использование этой функции при обучении сети по алгоритму обратного распространения. Особенностью нейронов с такой передаточной характеристикой является то, что они усиливают сильные сигналы существенно меньше, чем слабые, поскольку области сильных сигналов соответствуют пологим участкам характеристики. Это позволяет предотвратить насыщение от больших сигналов.
Гиперболический тангенс
Использование функции гиперболического тангенса
отличается от рассмотренной выше логистической кривой тем, что его область значений лежит в интервале (-1;1). Т.к. верно соотношение
,
то оба графика отличаются лишь масштабом осей. Производная гиперболического тангенса, разумеется, тоже выражается квадратичной функцией значения; свойство противостоять насыщению имеет место точно также.
Радиально-базисная функция передачи
Этот тип функций принимает в качестве аргумента расстояние между входным вектором и некоторым наперед заданным центром активационной функции. Значение этой функции тем выше, чем ближе входной вектор к центру. В качестве радиально-базисной можно, например, использовать функцию Гаусса:
Здесь -- расстояние между центром и вектором входных сигналов . Скалярный параметр у определяет скорость спадания функции при удалении вектора от центра и называется шириной окна, параметр R определяет сдвиг активационной функции по оси абсцисс. Сети, с нейронами, использующими такие функции, называются RBF-сетями. В качестве расстояния между векторами могут быть использованы различные метрики, обычно используется евклидово расстояние:
Здесь xj -- j-я компонента вектора, поданного на вход нейрона, а cj -- j-я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными
В реальных сетях активационная функция этих нейронов может отражать распределение вероятности какой-либо случайной величины, либо обозначать какие-либо эвристические зависимости между величинами.
Другие функции передачи
Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие как:
§ Экспонента f(x) = exp( ? Ax);
§ Тригонометрический синус;
§ Модульная: ;
§ Квадратичная.
Размещено на Allbest.ru
...Подобные документы
Структурная схема САУ: Передаточная функция разомкнутой системы; передаточная функция замкнутой системы; передаточная функция ошибки; дифференциальное уравнение замкнутой системы; характеристическое уравнение замкнутой системы; уравнение ошибки.
курсовая работа [218,7 K], добавлен 21.11.2007Элементы структурной схемы. Передаточная функция параллельного–согласованного, параллельного-встречного и последовательного соединений. Преобразование структурных схем. Передаточная функция замкнутой системы. Прямые и обратные связи, узлы разветвления.
реферат [52,4 K], добавлен 15.08.2009Теория автоматического управления. Передаточная функция системы по ее структурной схеме. Структурная схема и передаточная функция непрерывной САР. Устойчивость системы. Исследование переходного процесса. Расчет и построение частотных характеристик.
курсовая работа [732,4 K], добавлен 14.03.2009Целевая функция. Базисная переменная. Симплекс метод, таблица. Коэффициенты при свободных переменных в целевой функции. Задача квадратичного программирования, максимизации функции. Функция Лагранжа. Координаты стационарной точки. Система ограничений.
контрольная работа [48,4 K], добавлен 29.09.2008Нейрокомпьютеры - это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида - нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Нейронные сети. Биологический и искусственный нейрон - их связь.
реферат [225,2 K], добавлен 04.06.2008Процесс шифрования. Процесс расшифрования. Функция шифрования. Функция расширения Е". Функции преобразования S(i). Функция перестановки P. Функция перестановки и выбора последовательности B.
реферат [89,5 K], добавлен 12.06.2007Понятие искусственного нейрона и искусственных нейронных сетей. Сущность процесса обучения нейронной сети и аппроксимации функции. Смысл алгоритма обучения с учителем. Построение и обучение нейронной сети для аппроксимации функции в среде Matlab.
лабораторная работа [1,1 M], добавлен 05.10.2010Эволюция систем искусственного интеллекта. Направления развития систем искусственного интеллекта. Представление знаний - основная проблема систем искусственного интеллекта. Что такое функция принадлежности и где она используется?
реферат [49,0 K], добавлен 19.05.2006Число линейно независимых уравнений. Отрицательная базисная переменная. Симплекс-метод решения задач линейного программирования. Экстремальное значение целевой функции. Метод северо-западного угла. Задачи нелинейного программирования. Функция Лагранжа.
контрольная работа [257,5 K], добавлен 29.09.2008Разработка программы, решающей базовую задачу линейного программирования симплекс-методом с помощью симплекс-таблиц. Целевая функция с определенным направлением экстремума и система ограничений для нее. Разработка алгоритма программы, ее листинг.
курсовая работа [385,6 K], добавлен 15.05.2014Понятие интернета как средства массовой коммуникации. Анализ аудитории интернета. Понятие функций интернета. Коммуникативная функция интернета, информационная функция, ценностно-регулирующая функция, развлекательная функция интернета их значение и суть.
курсовая работа [405,7 K], добавлен 15.12.2008Достоинства, недостатки и применение нейронных сетей. Преимущества мозга, как вычислительного устройства, над современными вычислительными машинами. Структурные части, виды и активационные функции нейрона. Обобщенное представление искусственного нейрона.
презентация [145,5 K], добавлен 03.01.2014Составлена программа автоматического рабочего места для работы со складом. Функция probel. Функция Edtext. Функция Cifri. Процедура Prishlo. Процедура Ushlo. Процедура Vvodnov. Процедура Edzapic. Описание алгоритма работы программы.
реферат [36,3 K], добавлен 13.01.2003Изучение сути криптографической хеш-функции, которой называется всякая хеш-функция, являющаяся криптостойкой, то есть, удовлетворяющая ряду требований специфичных для криптографических приложений. Преобразования, криптостойкость и применение Whirlpool.
курсовая работа [420,4 K], добавлен 22.06.2011Составление схемы алгоритма и программы для построения графика временной функции, работающей как в машинном, так и в реальном времени. Выбор и обоснование методов расчета. Разработка основной программы. Блок-схемы алгоритмов. Распечатка листинга.
курсовая работа [1,5 M], добавлен 21.11.2013Построение схемы алгоритма и программы для создания графика временной функции, работающей в машинном и реальном времени. Выбор методов решения и их обоснование. Значение коэффициентов и временной функции. Реализация временных задержек в программе.
курсовая работа [6,2 M], добавлен 09.03.2012Условная функция. Логические выражения. Вложенные логические функции ЕСЛИ. Особенности записи логических операций в табличных процессорах: сначала записывается имя логической операции (И, ИЛИ, НЕ).
реферат [7,9 K], добавлен 17.11.2002Понятие, сущность и история создания искусственного интеллекта. Области его практического приложения в человеческой деятельности. Использование его для создания роботизированной техники. Задача создания первой разумной системы на основе сети Интернет.
презентация [622,3 K], добавлен 01.12.2014Элементы и переменные, используемые для составления записи в Паскале. Основные числовые типы языка Turbo Pascal. Составление блок-схемы приложения, программирование по ней программы для вычисления функции. Последовательность выполнения алгоритма.
лабораторная работа [256,9 K], добавлен 10.11.2015Передаточная функция кривой отклика. Структурная схема контуров регулирования. Определение настроек регуляторов по методу Зиглера-Никольса. Метод ограничения на частотный показатель колебательности. Проверка прямых и косвенных показателей качества.
курсовая работа [1,3 M], добавлен 23.05.2019
