3.9. Нейронная сеть Хопфилда и ее применение.

Возрождение интереса к нейронным сетям связано с работой Хопфилда (1982 г.). Эта работа пролила свет на то обстоятельство, что заимствованные из природы сети из нейроноподобных элементов могут быть использованы для вычислительных целей. Исследователи из многих областей знания получили стимул для дальнейших исследований этих сетей; преследуя при этом двоякую цель: лучшее понимание того, как работает мозг, применить мозгоподобные свойства этих сетей для решения проблем, которые не поддаются решению традиционными методами.

3.9.1. Идея рекуррентности.

Нейронная сеть Хопфилда – это пример сети, которую можно определить как динамическую систему с ОС, у которой выход одной полностью прямой операции служит входом следующей операции сети, как показано на рис.1

Рис 1. Бинарная сеть Хопфилда.

Сети, которые работают как системы обратной связи, называются “рекуррентными сетями”. Каждая прямая операция сети называется итерацией. Рекуррентные сети, подобно любым другим нелинейным динамическим системам, способны проявлять целое разнообразие различных поведений. В частности, один возможный образец поведения – это то, что система может быть устойчивой, т.е. она может сходиться к единственной фиксированной (неподвижной) точке. Когда неподвижная точка является входом в такую динамическую систему, то на выходе будем иметь ту же самую точку. Таким образом система остается зафиксированной в том же самом состоянии. Возможны периодические циклы или хаотическое поведение.

Было показано, что сети Хопфилда устойчивы. В общем случай может быть более одной фиксированной точки. То, к такой фиксированной точке будет сходиться сеть, зависит от исходной точки, выбранной для начальной итерации.

Неподвижные точки называются аттракторами. Множество точек (векторов), которые притягиваются к определенному аттрактору в процессе итераций сети, называется “областью притяжения” этого аттрактора. Множество неподвижных точек сети Хопфилда – это ее память. В этом случае сеть может действовать как ассоциативная память. Те входные векторы, которые попадают в сферу притяжения отдельного аттрактора, являются связанными (ассоциированными) с ним.

Например, аттрактор может быть некоторым желаемым образом. Область притяжения может состоять из зашумленных или неполных версий этого образа. Есть надежда, что образы, которые смутно напоминают желаемый образ будут вспомнены сетью как ассоциированные с данным образом.

3.9.2. Бинарные сети Хопфилда.

На рис. 1 изображена бинарная сеть Хопфилда. Входные и выходные векторы состоят из “–1” и “+1” (вместо “–1” ,может быть использовано “0”) Имеется симметричная весовая матрица, состоящая из целых чисел с нулями (или “–1”) по диагонали . Входной вектор X умножается на весовую матрицу, используя обычное матрично-векторное умножение. Однако только 1 компонента выходного вектора используется на каждой итерации. Это процедура известна как “асинхронная коррекция”. Эта компонента, которая может быть выбрана случайно (подается на пороговый элемент, чей выход или –1, или +1). Соответствующая компонента входного вектора заменяется на это значение и, таким образом, образует входной вектор для следующей итерации. Процесс продолжается до тех пор, пока входные и выходные вектора не станут одинаковыми (то есть пока не будет достигнута неподвижная точка)
Этот алгоритм описан ниже.

3.9.3. Описание алгоритма.

• Вычисляются компоненты выходного вектора , j=1,2,..,n, по формуле (1)
  
  где

• Выполнить асинхронную коррекцию, т.е.
  1. начать с входного вектора ;
  2. найти согласно формуле (1);
  3. заменить на и подать Y на вход Х.
  4. повторить процесс, чтобы найти и т.д. (могут выбираться случайно)

• Повторять шаги 2-3 до тех пор, пока вектор не перестанет изменяться. Каждый шаг уменьшает величину энергии связей (2) так что обеспечивается сходимость к неподвижной точке (аттрактору).

Асинхронная коррекция и нули на диагонали матрицы W гарантируют, что энергетическая функция (2) будет уменьшаться с каждой итерацией. Асинхронная коррекция – это особенно существенно для обеспечения сходимости к неподвижной точке. Если мы допустим, чтобы весь вектор корректировался на каждой итерации, то можно получить сеть с периодическими циклами как терминальными состояниями аттакторов, а не с неподвижными точками.

3.9.4. Образцы поведения.

Именно весовая матрица отличает поведение одной сети Хопфилда от другой, так что возникает вопрос: “Как определить эту весовую матрицу?”

Ответ – надо задать определенные весовые вектора, которые называют экземплярами. Есть надежда, что эти экземпляры будут фиксированными точками результирующей сети Хопфилда. Хотя это не всегда так. Для того, чтобы экземпляры были аттракторами, весовую матрицу надо задать таким образом:

(3)

Если экземпляры векторов образуют множество ортогональных векторов, то можно гарантировать, что если весовая матрица выбирается как показано выше, то каждый экземпляр вектора будет неподвижной точкой. Однако в общем случае для того, чтобы экземпляры приводили к неподвижным точкам, ортогональность не обязательна.

3.9.5. Применение сети Хопфилда.

Сеть Хопфилда может в частности использоваться для распознавания образов. Но число распознаваемых образов не слишком велико в силу ограниченности памяти в сетях Хопфилда. Далее приведены результаты исследования ее работы при обучении на 4 буквах русского алфавита.

Исходные образы:

Исследование проводилось таким образом: последовательно увеличивая зашумленность каждого из 4 образов, они подавались на вход сети Хопфилда. Результаты работы сети приведены в таблице 1.

Таблица 1

Таким образом, НС Хопфилда прекрасно справляется с задачей распознавания образов для экспериментов с искажением на 0 – 40 %. В это диапазоне все эталоны распознаются без ошибок (иногда возникают незначительные помехи для 40% зашумления).

При 45 – 55 – 60 % зашумления образы распознаются нестабильно, часто возникает “перепутывание” и на выходе НС появляется совершенно другой эталон или его негатив.

Начиная с 60% на выходе системы начинает появляться негатив тестируемого образа, иногда частично искаженный (при 60 – 70 %).

3.9.6. Эффект “перекрестных ассоциаций”.

Усложним задачу и обучим нашу НС Хопфилда еще одному образцу:

 (*)

От 50 до 60% на выходе НС появляется сначала представленное выше изображение (*) в слегка искаженном виде, а потом его негатив (**).

Начиная с 65% зашумленности, на выходе НС стабильно появляется негатив изображения (*), который выглядит так:

При этом символы “А” и “Б” распознаются безошибочно при искажении до 40%. При 45 – 65% на выходе НС появляются изображения (*) и (**), их слегка зашумленные интерпретации, изображение, похожее на негатив буквы “Б” (но очень искаженный), или же негатив тестируемого образа. При искажении 70% и более НС стабильно распознает в тестируемом образе его негатив.

Проведенные эксперементные исследования выявили следующие недостатки НС Хопфилда.
наличие перекрестных ассоциаций, когда несколько эталонов оказываються похожими друг на друга(как например в эксперементах с булевой П);
2) велла ограничения емкость запоминания число запоминаемемых аттрактов(эталонов) составляет всего (0.3:0.4)n, где n-размерность матрицы весов W.
Эти обстоятельства существенно ограничиваю возможности практического использования сети Хопфилда.