3.10. Перцептрон. Архитектура. Свойства. Применение.
Перцептрон представляет собой передающую сеть, состоящую из генераторов сигнала трех типов сенсорных элементов, ассоциативных элементов и реагирующих элементов. Входными сигналами называются сигналы оказывающие воздействие на производящую функцию элемента S-элементы А-элементы R-элементы
Рис.1. Схема перцептрона.
Сенсорным элементом (S-элементом) называется любой чувствительный элемент, который от воздействия какого-либо из видов энергии вырабатывает сигнал, являющийся некоторой функцией входной энергии. Обозначим 
- входной сигнал S-элемента 
, поступивший из внешней среды V в момент времени t.
Простым S-элементом называется S-элемент, выдающий выходной сигнал “+1”, если входной сигнал превышает некоторый порог 
, в противном случае выходной сигнал равен 0.
Ассоциативным элементом (А-элементом) называется генератор сигнала с входными и выходными связями. А-элемент 
реагирует на совокупность сигналов 
, поступивших от входных связей
, и вырабатывает сигнал 
.
Простым А-элементом называется логический решающий элемент, который выдает выходной сигнал равный “+1”, когда алгебраическая сумма его входных элементов превышает некоторую пороговую величину 
, в противном случае он выходной сигнал равен 0.
Реагирующим элементом (R-элементом) называется генератор сигнала, имеющий входные связи выдающий сигнал, который поступает во внешнюю сеть (т.е. в окружающую среду или в другую систему) Обозначим 
- сигнал, вырабатываемый элементом 
.
Простым R-элементом называется R-элемент, который выдает выходной сигнал = +1, если сумма его входных элементов является строго положительной, и сигнал = -1, если сумма его входных сигналов является строго отрицательной. Если сумма входных элементов равна нулю, выход можно считать либо равным нулю, либо неопределенным.
Передающая функция связей в перцептроне зависит от двух параметров: времени передачи импульса по каналам связи 
и коэффициента или веса
связи 
. Передающая функция связей от элемента 
к элементу 
имеет вид 
.
Веса могут быть постоянными или переменными (зависящими от времени). В последнем случае вес будет являться функцией памяти.
Активное состояние сети в момент t определяется совокупностью сигналов , выдаваемых всеми генераторами сигналов в момент t.
Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.
Фазовое пространство сети – это пространство всех возможных состояний памяти данной сети.
Матрица взаимодействия для сети, состоящей из S-, А- и R-элементов,
представляет собой матрицу, элементами которой являются коэффициенты соединения (веса) для всех пар и . Если связь от элемента к элементу отсутствует, считается равным нулю Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.
Определения и классификация перцептронов
Перцептрон представляет собой сеть, состоящую из S-, А- и R-элементов, с переменной матрицей взаимодействия W, определяемой последовательностью прошлых состояний активной сети.
Логическим расстоянием от элемента к элементу называется наименьшее
число связей, с помощью которых сигнал от элемента , может быть передан элементу .
Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием d от ближайшего S-элемента, оканчиваются на элементах с логическим расстоянием d+1 от ближайшего S-элемента.
Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа (S, A или R), находящиеся на одинаковом логическом расстоянии от S-элементов, причем все остальные связи – последовательного типа.
Перцептроном с обратной связью называется система, в которой по крайней мере один элемент А или R, находящийся на расстоянии 
от ближайшего S-элемента, является исходным в цепи обратной связи к S-элементу или к А-элементу, расстояние от которого до ближайшего S-элемента 
; другими словами это система с обратными связями от элементов, расположенных ближе к выходу, к элементам, расположенным ближе к входу системы.
Простым перцептроном называется любая система, удовлетворяющая следующим условиям:
.
, где 
– алгебраическая сумма всех сигналов, поступающих одновременно на вход элемента Элементарным перцептроном называется простой перцептрон с простыми R- и А-элементами, передающая функция которого имеет вид 
.
Стимулы и внешняя среда
Любое непустое множество входных сигналов, поступающих на S-элементы в момент времени t, называется стимулом.
Любое множество стимулов, определенное для данной системы из S-элементов, называется пространством стимулов (или внешней средой). Пространство стимулов будем обозначать V.
Пространство (среда) последовательностей стимулов представляет собой любое множество последовательнестей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества W
Реакции и решения
Реакцией будем называть любое соответствие между выходными сигналами R-элемента и стимулами из множества V. Для простого перцептрона реакция R(V) представляет собой n-мерный вектор 
, компонентами которого являются значения реакции элемента на действие каждого стимула 
внешней среды.
Выделение класса эквивалентных реакций называется классификацией. Две реакции считаются эквивалентными, если их соответствующие компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация C(V) разделяет множество V на два класса:
;
Последовательность реакций представляет собой соответствие последовательностей выходных сигналов R-элемента последовательностям стимулов из пространства этих последовательностей.
Будем считать, что для данного перцептрона решение относительно реакции (классификации) существует, если в фазовом пространстве перцептрона имеется такая точка, что при предъявлении стимула 
будет иметь место реакция 
(определяемая реакцией R(V)) для всех 
.
Обучение и самообучение перцептронов
Соотношение значения коэффициентов связей и пороговых величин определяет собой номер выхода перцептрона, который возбуждается (срабатывает) при подаче на его вход некоторого входного изображения. Считается, что перцептрон обучен правильно, если изображения одного и того же класса вызывают срабатывание определенного выхода. Требуемые для этого значения коэффициентов связей и порогов могут быть вычислены при помощи решения системы нормальных уравнений Гаусса (алгебраический метод), либо найдены постепенно, шаг за шагом при помощи поощрения и наказания соответствующих элементарных перцептронов. Роль правильно сработавших нейронов в выработке общего решения увеличивается, а неправильно сработавших – уменьшается (адаптивные методы).
В адаптивных распознающих системах коэффициенты связей постепенно изменяются небольшими шагами, чтобы с течением ряда показов изображений обучающей последовательности система классифицировала входные сигналы так, как того хочет ее учитель - человек.
В перцептроне Фр. Розенблатта коэффициенты первого ряда связей выбираются случайным образом, а коэффициенты второго ряда адаптируются по следующему алгоритму.
-система подкрепления и
-система подкрепления. Системы подкрепления
Любой набор правил , с помощью которого можно изменять с течением времени матрицу взаимодействия перцептрона, называется системой подкрепления.
Системой управления подкреплением называется любая система, внешняя по отношению к перцептрону, которая служит для изменения матрицы взаимодействия перцептрона в соответствии с правилами выбранной системы подкрепления.
Положительное подкрепление – это процесс подкрепления, при котором вес связи, начинающейся на активном элементе и оканчивающейся на 
, изменяется на величину 
(или со скоростью 
), знак которой совпадает со знаком сигнала 
.
Отрицательное подкрепление - это процесс подкрепления, при котором вес связи, начинающейся на активном элементе и оканчивающейся на , изменяется на величину 
(или со скоростью ), знак которой противоположен знаку сигнала .
Монополярной системой подкрепления называется система подкрепления, при которой веса всех связей, оканчивающихся на элементе , остаются неизменными в течении всего отрезка времени t до тех пор пока не станет
строго положительным.
Биполярной системой подкрепления называется система подкрепления, при которой веса связей изменяются независимо от знака выходного сигнала элемента, на котором они оканчиваются.
Альфа-системой подкрепления называется система подкрепления, при которой веса всех активных связей , которые оканчиваются на некотором элементе , (т.е. связи, для которых 
), изменяются на одинаковую величину 
, или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей (
) за это время не изменяются. Перцептрон, в котором используется 
-система подкрепления, будем называть -перцептроном.
Подкрепление называется дискретным, если величина изменения веса является фиксированной, и непрерывным, если эта величина может принимать произвольное значение.
Гамма-системой подкрепления называется такое правило изменения весов входных связей некоторого элемента, при котором веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается другая величина, равная полному изменению весов всех активных связей, деленному на число всех связей. У этой системы полная сумма весов
всех связей не может ни возрастать, ни убывать.
,
где 
- число связей оканчивающихся на элементе , 
- величина сигнала подкрепления.
Система подкрепления с управлением по реакции (R-управляемая система) - это такой метод обучения, при котором величина сигнала подкрепления 
постоянна, а его знак полностью определяется текущим значением реакции 
независимо от конкретного действующего стимула S.
Система подкрепления с управлением по стимулам (S-управляемая система) – это такой метод обучения, при котором величина сигнала подкрепления постоянна, а его знак полностью определяется действующим стимулом; текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления .
Система подкрепления с коррекцией ошибок - это такой метод обучения, при котором величина сигнала подкрепления 
до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак определяется знаком ошибки.
Основные теоремы о перцептронах
Теорема о существовании решений
Теорема 1. Дана сетчатка с двумя состояниями входных сигналов. Тогда класс элементарных перцептронов, для которого существует решение при любой классификации C(V) возможных внешних сред V, не является пустым.
Для доказательства этой теоремы достаточно показать существование хотя бы одного перцептрона, имеющего решение для наугад выбранной классификации.
Теоремы о сходимости
К этой группе относятся теоремы, которые характеризуют способности элементарного перцептрона к выработке решения для классификации C(V) при различных методах обучения. Фундаментальной для теории перцептронов является теорема, характеризующая способность элементарного 
-перцептрона к выработке решения при применении метода обучения с коррекцией ошибок. Эта теорема формулируется следующим образом.
Теорема 2. Даны элементарный -перцептрон, пространство изображений V и некоторая классификация C(V), для которой известно, что решение существует. Все изображения из V подаются на вход перцептрона в любой последовательности, но при условии, что каждое изображение появляется повторно через некоторый конечный интервал времени. Тогда процесс обучения с коррекцией ошибок, начинающийся с произвольного исходного состояния, всегда приведет к достижению решения для C(V) в течение конечного промежутка времени.
Эта теорема предполагает, что реакция перцептрона считается правильной, если величина входного сигнала R-элемента при появлении на входе перцептрона изображения Sj превышает порог 
и знак этого сигнала совпадает со знаком 
для этого же изображения, где
(1)
Метод обучения с коррекцией ошибок является наиболее совершенным при обучении перцептрона задаче различения изображений двух образов. Теоремы 3 – 8 утверждают, во-первых, что можно обеспечить достижение решения более слабой формой коррекции, и, во-вторых, что система подкрепления, в которой величина подкрепления не зависит от того, является ли текущая реакция перцептрона правильной или нет, в общем случае не может обеспечить сходимости процесса достижения решения. Даже при наличии состояния обученности такое решение, за исключением особых случаев неустойчиво.
Теорема 3. Даны элементарный -перцептрон с конечным числом состояний памяти, случайная последовательность изображений из пространства V и классификация C(V), для которой можно достичь решения введением некоторой последовательности сигналов подкрепления. Утверждается, что при применении метода коррекции ошибок со случайным знаком подкрепления такое решение может быть получено за конечное время с вероятностью 1.
Действительно, метод коррекции ошибок со случайным знаком подкрепления сводится к процессу случайных блужданий, причем на каждом шаге подкрепление либо соответствует требуемой коррекции, либо противоположно ей по знаку. В результате вектор 
(вектор входных сигналов R-элемента) придет к некоторому достижимому предельному состоянию с вероятностью 1, так как известно, что все предельные состояния этого вектора лежат в пространстве решений.
В отличие от методов коррекции ошибок, методы, на которых основаны S-управляемые системы подкрепления, вообще не вносят коррекции, так как величина подкрепления в них не зависит от наличия ошибки и при введении подкрепления принимается во внимание только знак требуемой реакции. В S-управляемой системе величина подкрепления остается постоянной, независимо от текущей реакции системы, а его знак выбирается в соответствии с со знаком текущего изображения в классификации.
В следующей теореме показывается, что в S-управляемой системе полученные решения неустойчивы.
Теорема 4. Даны элементарный -перцептрон, пространство изображений V и некоторая классификация C(V), для которой существует решение. Тогда для S-управляемой системы подкрепления при определенных условиях может быть получено решение. Однако такое решение при произвольной последовательности изображений может быть не найдено или же может оказаться неустойчивым.
Под устойчивым подразумевается такое решение, при котором для данной системы все дальнейшие состояния памяти при любой продолжительности эксперимента будут удовлетворять условиям решения.
Устойчивыми являются решения, выработанные для изображений, которые возбуждают непересекающиеся множества А-элементов. Если же множества А-элементов пересекаются, то устойчивость решения зависит от частоты появления изображений из различных классов. Смещение частот, указывающее во сколько раз изображения одного класса появляются чаще изображений другого класса, приводит в перцептроне с S-управляемой системой к выработке реакции, соответствующей классу изображений с большей частотой появления. Эффект нарушения устойчивости решения возникает и тогда, когда изображения разных классов имеют различные размеры, т.е. изображения одного класса возбуждают большее число А-элементов, чем изображения другого класса.
В случае R-управляемой системы подкрепления говорить о вероятности сходимости процесса обучения к решению для произвольной классификации C(V) не имеет смысла, так как в таких системах при определении знака или величины подкрепления необходимая классификация не играет никакой роли. Возможно, что R-управляемая система подкрепления приведет перцептрон к нужной устойчивой реакции, однако в общем случае это не может быть гарантировано и какая-либо достигнутая классификация в такой системе является результатом выбора, сделанного в большей степени самим прецептроном, чем экспериментатором.
В следующей теореме утверждается, что даже более слабая форма подкрепления, чем применяемая в методе коррекции со случайным знаком подкрепления, может обеспечить достижение решения за конечное время при условии, что используется метод коррекции, при котором введение подкрепления определенным образом связывается с появлением ошибки в реагировании.
Теорема 5. Даны элементарный перцептрон с конечным числом состояний памяти, пространство изображений V и классификация C(V), для которой с помощью определенной последовательности подкреплений из некоторого начального состояния может быть получено решение. Тогда использование метода коррекции случайными возмущениями всегда позволяет получить решение за конечное время.
Известно, что метод коррекции случайными возмущениями определяется как способ обучения, в котором в случае появления ошибки на активные А-элементы подается подкрепление так же, как и в -системе, с тем лишь отличием, что величина и знак подкрепления для каждой связи в системе выбирается отдельно и независимо в соответствии с некоторым распределением вероятностей.
Как было показано в предыдущих теоремах, в элементарных перцептронах решение достигается при всех способах обучения с коррекцией (прямая коррекция ошибок, коррекция со случайным знаком подкрепления и коррекция ошибок со случайными возмущениями). Из всех способов первый является наиболее эффективным и обеспечивает самую быструю сходимость процесса обучения. Метод коррекции случайными возмущениями приводит к самой медленной сходимости, так как в этом случае для нахождения удовлетворительного конечного состояния поиск производится в большой области фазового пространства системы. При этом направление поиска не ограничивается никакими дополнительными условиями. Если пространство решений достижимо, то решение будет получено независимо от сложности его функционального представления.
Для того, чтобы перейти к формулировке следующей теоремы введем некоторые обозначения. Функцию активации А-элемента 
определим в виде
. (2)
Для любого n-мерного вектора Х с компонентами 
показатель смещения элемента по отношению к Х определяется как сумма скалярных произведений
. (3)
Эта величина непосредственно связана с коэффициентом смещения, если в качестве вектора Х для n изображений ввести классифицирующий вектор. Обозначим через 
какой-либо n-мерный вектор Х, компоненты которого 
по знаку не расходятся с требуемой классификацией C(V), т.е. 
, если 
принадлежит к положительному классу, и 
, если принадлежит к отрицательному классу. Будем считать, что все неравенства точные, т.е. отсутствуют нулевые компоненты.
Тогда теорему о необходимых и достаточных условиях сходимости решения можно сформулировать так:
Теорема 6. Даны -перцептроны и классификация C(V). Необходимое и достаточное условие того, что методом коррекции ошибок за конечное время и из произвольного начального состояния может быть достигнуто решение, сводится к тому, что не должно существовать ненулевого вектора , такого, что 
для всех значений i.
Практически часто оказывается, что для данного перцептрона можно показать невозможность достижения решения для принятой классификации C(V), если вместо вектора непосредственно ввести классифицирующий вектор C(V) и затем вычислить 
. Если эти величины для всех А-элеменотов окажутся равными нулю, то для -системы решения не существует.
В заключение сформулируем две теоремы, касающиеся -перцептронов.
Теорема 7. Даны элементарный 
-перцептрон, пространство изображений V и классификация C(V). Тогда для C(V) может существовать решение, недостижимое для такого прецептрона.
Доказательство этой теоремы основано на том, что -система никогда не сможет достигнуть решения, если в начальном состоянии системы все веса будут равны нулю или имеют неправильный знак.
Теорема 8. Даны -перцептрон и классификация C(V). Необходимое и достаточное условие того, что с помощью метода коррекции ошибок можно за конечное время достичь решения, состоит в том, что не существует такого ненулевого вектора , для которого 
при всех i.