2.8. Вероятностные итеративные алгоритмы самообучения, основанные на применении метода стохастической аппроксимации

Требуется разбить исходное пространство признаков на такие непересекающиеся области , чтобы минимизировать следующий функционал (средний риск распознавания):

, (1)

где - функция потерь при классификации ; - параметры областей , например, средние; - априорные вероятности классов.

Минимизация (1) эквивалентна минимизации средних потерь при распознавании.

Было доказано, что для того, чтобы функционал (1) был минимален, необходимо выполнение следующих условий:

(2)

где - градиент по , - граница между областями и .

Для перехода от интегрирования по области к интегрированию по всему пространству вводятся характеристические функции

.

Тогда (2) будет иметь следующий вид:

(3)

Поскольку в (3) неизвестно , то решить уравнения относительно искомых параметров областей не представляется возможным. Поэтому предлагается адаптивный алгоритм для нахождения оценок , основанный на применении стохастической аппроксимации.

Пусть на (n-1)-ом шаге построены оценки для параметров . Тогда если на n-том шаге приходит , то

(4)

Если подает в область , то все , за исключением , равны нулю.

В этом случае алгоритм самообучения (4) приобретет следующий вид:

(5)

Замечательная особенность данного подхода заключается в том, что, выбирая различные функции риска , можно получить из (4) как известные к настоящему времени, так и новые алгоритмы самообучения рекуррентного типа.

Это позволяет считать алгоритм самообучения (4) наиболее универсальным рекуррентным алгоритмом самообучения, известным до настоящего времени. Критерий же в виде функции риска должен задавать учитель.

Следует подчеркнуть, что все рекуррентные алгоритмы самообучения страдают общим существенным недостатком. Они сходятся к тому или иному стационарному решению в зависимости от начального состояния, например, начального положения границ.