3.1. Структура и математическая модель сети.

3.1.1. Нейронные сети с обратным распространением.

Наиболее широко используемыми и общепризнанными нейронными сетями являются так называемые сети с обратным распространением (“back propagation”).

Эти сети предсказывают состояние фондовой биржи, распознают почерка, синтезируют речь из текста, управляют автомашиной. Мы увидим, что обратное распространение скорее относится к алгоритмам обучение, а не к сетевой архитектуре. Такую сеть более правильно назвать сетью с прямой передачей сигналов

На рис.1 приведена классическая трехуровневая архитектура Н-сети.

Рис.1.

Обозначим: – d-мерное пространство.

Входной вектор ; выходной вектор .

Нейронная сеть выполняет функциональное преобразование, которое может быть представлено как , где , ; , .

Скрытый слой на самом деле может состоять из нескольких слоев, однако можно полагать, что достаточно рассматривать лишь три слоя для описания этого типа поведения. Для нейронной сети с N входными вершинами, Н вершинами скрытого слоя и М выходными вершинами величины задаются так:

(1)
Здесь - выходной вес связи от вершины j скрытого слоя к вершине k выходного слоя; g – функция (которая будет определена позже), выполняющая отображение .

Выходные сигналы вершин скрытого слоя , j=1,2, …,H задаются так:

(2)
Здесь - входной вес связи (i, j);

- величина порога (вес от узла, который имеет постоянный сигнал, равный 1 к узлу j);

– сигнал на выходе i-го входного узла;

- так называемая функция “сигмоид”, которая задается так:

(3)
Функция в (2) называется функцией активации (нейронной сети), иногда ее называют “функцией зажигания” нейронной сети.

Функция g в уравнении (1) может быть такой же самой, что и или другой. в нашем изложении мы будем принимать g или функцией вида , или единичной функцией, т.е. линейной. Необходимо, чтобы функция активации была нелинейной, и имела ограниченный выход, т.е. была ограниченной. График функции приведен на рис.2.



Рис.2

3.1.2. Нейронные сети прямого действия.

Действие сети прямого действия определяется двумя факторами:

Количество входных и выходных узлов определяется априори и, в сущности, является фиксированным. Число скрытых узлов является переменным и может настраиваться (регулироваться) пользователем.

До настоящего времени эта настройка остается пока “искусством”, хотя были предложены в литературе различные методы установки числа скрытых узлов и удаления ненужных.

После определения (задания) архитектуры сети, именно значения весов определяют ее поведение.

Говорят, что сеть “обучается” если веса изменяются так, чтобы достичь желаемой цели. Здесь следует иметь в виду, что термин “обучение”, заимствованный из биологии, в сети означает простую настройку множества параметров.