3.3. Вывод рекурентного выражения в алгоритме ВР для вычисления производных ошибки произвольного слоя.
Рассмотрим градиентный метод обучения нейронной сети ВР.
Пусть требуется минимизировать критерий:
, (11)
где
- реальный выход j-го нейрона выходного слоя N нейронной сети при подаче на вход р-го образа;
- желаемый выход.
Минимизация производится методом градиентного спуска, что означает подстройку весов следующим образом:

, (12)
где
- весовой коэффициент связи i-го нейрона (N-1)-го слоя с j-ым нейроном n–го слоя;
- коэффициент скорости обучения.
Далее
, (13)
где
- выход j-го нейрона n–го слоя;
- взвешенный суммарный выходной сигнал j-го нейрона.
Очевидно, что
(14). Если функция активации j-го нейрона имеет вид:
, то
.
В частном случае, если
- сигмоид, то
.
Третий сомножитель
.
Что же касается первого сомножителя в (13)
, то он легко раскладывается через выходы нейронов следующего (n+1)–го слоя таким образом:
. (15)
Здесь суммирование ведется по нейронам (n+1)–го слоя (k).
Введя новую переменную
, (16)
получим рекурентную формулу для расчета величины
n–го слоя через величины
следующего слоя (см. ниже - рис.1)
. (17)

рис.1
Для выходного слоя n=N имеем
. (18)
Теперь можно записать алгоритм градиентного спуска (12) в следующем виде:
. (19)
Иногда для придания процессу коррекции весов некоторой инерционности для сглаживания резких скачков при движении по поверхности используется значение
на предыдущей итерации (t-1). В этом случае величина
будет иметь вид:
, (20)
где
.