Биполярная сигмоидная функция

Математические базы метода оборотного распространения ошибки

Рис. 1. Четырехслойная нейронная сеть.

Метод оборотного распространения ошибки был предложен в и является действенным средством для обучения мультислойных нейронных сетей.

Разглядим нейронную сеть, состоящую из 4 слоев (рис 1). Обозначим слои нейронных частей от входа к выходу соответственно через . Тогда выходное значение j-го нейрона последнего слоя приравнивается Биполярная сигмоидная функция:

(1)

, (2)

где — взвешенная сумма j-го нейрона выходного слоя; — выходное
значение i-го нейрона предпоследнего слоя; и — соответственно весовой коэффициент и порог j-го нейрона выходного слоя.

Аналогичным образом выходное значение i-го нейрона предпоследнего слоя определяется, как:

(3)

. (4)

Соответственно для k-го слоя:

(5)

. (6)

Метод оборотного распространения ошибки минимизирует среднеквадратичную ошибку нейронной Биполярная сигмоидная функция сети. Для этого с целью опции синаптических связей употребляется способ градиентного спуска в пространстве весовых коэффициентов и порогов нейронной сети. Согласно способу градиентного спуска изменение весовых коэффициентов и порогов нейронной сети происходит по последующему правилу:

, (7)

, (8)

где — среднеквадратичная ошибка нейронной сети для 1-го вида.

Она определяется, как

, (9)

где — эталонное выходное Биполярная сигмоидная функция значение j-го нейрона.

Ошибка j-го нейрона выходного слоя приравнивается:

. (10)

Аксиома 2.2. Для хоть какого укрытого слоя ошибка -го нейронного элемента определяется рекурсивным образом через ошибки нейронов последующего слоя :

(11)

где — количество нейронов последующего слоя по отношению к слою ; — синаптическая связь меж -м и -м нейроном разных слоев; — взвешенная сумма Биполярная сигмоидная функция -го нейрона.

Аксиома 2.3. Производные среднеквадратичной ошибки по весовым коэффициентам и порогам нейронных частей для всех 2-ух слоев и мультислойной сети определяются последующим образом:

(12)

(13)

Следствие 2.1: Для минимизации среднеквадратичной ошибки сети весовые коэффициенты и пороги нейронных частей должны изменяться со временем последующим образом:

(14)

(15)

где — скорость обучения.

Данное следствие является естественным. Оно Биполярная сигмоидная функция определяет правило обучения мультислойных нейронных сетей в общем виде, которое именуется обобщенным дельта правилом .

Обобщенное дельта правило для разных функций активации нейронных частей

Определим выражения (14) и (15) для разных функций активации нейронных частей.

Сигмоидная функция

Выходное значение j-го нейронного элемента определяется последующим
образом:

, (16)

. (17)

Тогда

(18)

В итоге обобщенное дельта правило для сигмоидной функции Биполярная сигмоидная функция активации можно представить в последующем виде:

(19)

(20)

Ошибка для j-го нейрона выходного слоя определяется, как

. (21)

Для j-го нейронного элемента укрытого слоя:

(22)

где m— количество нейронных частей последующего слоя по отношению к слою i(рис. 2).

Рис. 2. Определение ошибки j-го нейронного элемента.

Биполярная сигмоидная функция

Выходное значение j-го нейрона определяется, как

(23)

Тогда

(24)

Отсюда получаем последующие Биполярная сигмоидная функция выражения для обучения нейронной сети с биполярной сигмоидной функцией активации:

(25)

(26)

Ошибка для j-го нейрона выходного и укрытого слоев определяется соответственно, как:

(27)

. (28)

Гиперболический тангенс

Для данной функции активации выходное значение j-го нейрона определяется последующим образом:

. (29)

Определим производную функции гиперболический тангенс:

. (30)

Тогда правило обучения можно представить в виде Биполярная сигмоидная функция последующих выражений:

(31)

(32)

Ошибка для j-го нейрона выходного и укрытого слоев соответственно приравнивается:

, (33)

. (34)

Используя приобретенные в данном разделе выражения можно найти метод оборотного распространения ошибки для разных функций активации нейронных частей.


biron-ernest-iogann-referat.html
birskoj-oblasti-novosibirskaya-oblast-v-cifrah-2003-2008-godi-statisticheskij-sbornik-po-katalogu-12-novosibirsk-sentyabr-2009-stranica-5.html
biryukova-svetlana-nikolaevna.html