3.8. Применение НС в задачах прогнозирования в макроэкономике.

Один из наиболее широко известных классов нейронных сетей - это так называемые сети Back Propagation (BP). Соответствующая теорема доказывает утверждение, что сети ВР являются универсальными аппроксиматорами. Тем не менее нам представляется несколько некорректным, когда два совершенно разных по применению понятия - "нейронная сеть" и "аппроксиматор" - употребляются как синонимы. Конечно же, нейронную сеть как сложную нелинейную функцию с большим количеством параметров можно использовать в качестве аппроксиматора, но использовать аппроксиматор для прогноза нельзя. На наш взгляд отличие нейронной сети от аппроксиматора заложено в алгоритме обучения, а вернее в той его части, которая отвечает за тасование пар-примеров тренировочной выборки.

Дело в том, что набор образцов для обучения - это только набор образцов и не более, и рассматривать их нужно не в какой-либо статистической последовательности или в какой-либо схеме приоритетов, но просто как постоянно тасуемое множество пар-примеров, извлечь из которых закономерность (если таковая имеется) и есть задача Н-сети.

Рассмотрим алгоритмы, которые используют технологию плавающего временного окна. Отметим, что пары-примеры для окна берутся с учетом лаговых периодов, учитывающих взаимовлияние временных рядов, которые подаются на вход сети. Мы предполагаем наличие некоего закона взаимовлияние временных рядов. Разумеется, закон этот имеет свойство меняться, в особенности, если речь идет о прогнозировании в экономической сфере. Причем меняться он может произвольным образом, в том числе и в интервале времени, описываемом границами окна. Возможность таких перемен, безусловно, должен учитывать алгоритм обучения сети, так как в противном случае качество прогноза будет сведено к нулю. В идеале при прогнозе пары-примеры и прогнозируемая точка должны находиться в пределах одного закона взаимовлияния. В таком случае пропадает необходимость придавать алгоритму обучения свойство нивелировать влияние пар-примеров из другого закона взаимовлияния. Но практика показывает, что выбрать размер окна так, чтобы в его пределах всегда был один закон взаимовлияния, описываемый лагами, невозможно.

Весовые коэффициенты сети.

Известно, что весовые коэффициенты играют роль памяти Н-сети. Разумеется, объем памяти прямо пропорционален количеству этих коэффициентов, а поскольку мы имеем дело с сетями ВР фиксированной архитектуры, то можно сказать, что при фиксированном количестве входов и выходов сети этот объем зависит только от числа внутренних слоев и размерности внутреннего слоя. К сожалению, не существует четкого правила задания значений этим двум параметрам. Их выбор остается искусством балансирования между достаточностью и излишеством.

Тем не менее, выбор необходимого объема памяти следует производить, учитывая: размер окна, количество входов и выходов сети, а также разброс значений прогнозируемой величины, поскольку, чем больше разброс, тем больше памяти требуется для четкого запоминания этих контрастов. Безусловно, подбор параметров объема памяти лучше производить экспериментально.

Подходы к обучению Н-сетей, использующие технологию плавающего окна.

Подход первый
Состоит в минимизации суммарной ошибки на окне обучения, что мало эффективно, так как при таком алгоритме мы действительно получим не сеть-оракул, а сеть-аппроксиматор.

Дело в том, что:

• В окно могут попадать непрезентативные пары-примеры из другого закона взаимовлияния.
• Закон взаимовлияния в пределах окна может резко меняться. Стало быть, будут существовать пары, на которых невозможно минимизировать ошибку по отдельности, т.е. невозможно подобрать сеть, хорошо обученную под каждую из таких пар.

Таким образом, поскольку Н-сеть - это все-таки универсальный аппроксиматор, минимизация ошибки на всех образцах приведет к переобучению сети. Мы получим сеть-функцию, аппроксимирующую тренировочную последовательность, в том числе и непрезентативные точки. Сеть не отловит закон взаимовлияния и, как следствие, не сможет сделать качественный прогноз. Область применения такого алгоритма обучения сужена до прогнозирования параметров с небольшим диапазоном значений. Однако качественно спрогнозировать показатель, имеющий отношение к экономике переходного периода, с таким подходом весьма проблематично.

Второй подход
Состоит в минимизации ошибки на каждой паре-примере окна в порядке их следования. Т.е. двигаясь итеративно по окну, сеть будет забывать информацию, полученную от первых точек окна к тому времени, когда дойдет очередь обучаться на последних.

Третий подход
Состоит в минимизации ошибки на каждой паре-примере окна, но с тасованием этих пар по определенному закону, который меняется в зависимости от прогресса обучения. Приведенные ниже результаты экспериментов красноречиво свидетельствуют о высокой эффективности такого подхода по сравнению с другими подходами. Можно даже говорить о нем как о единственно правильном. Только так нейронная сеть становится Оракулом, способным выловить из имеющихся данных некий закон и предсказать изменение прогнозируемой величины. При таком алгоритме мы автоматически застрахованы от эффекта переобучения Н-сети, т.к. она просто не станет обучаться на непрезентативных парах-примерах. Философия алгоритма такова, что он извлечет тот закон взаимовлияния, которому соответствует большинство пар-примеров.

Предсказать будущее, исходя из закона, заключенного в парах-примерах, а не в последующее значение функции из упорядоченного ряда предыдущих ее значений - вот цель обучения Н-сети.

Black Oracle Pro™ . Краткая информация.

Весь опыт нашей работы над нейро-сетевой проблематикой воплощен в нейро-пакете Black Oracle Pro (BOP). ВОР предназначен для работы в системах Windows 95, 98, 98SE, NT4 WS. В пакете применяется Н-сеть типа ВР с одним внутренним слоем. Обучение можно производить тремя алгоритмами (градиентным, модифицированным градиентным, модифицированным генетическим) по двум критериям (точность, тенденция). Помимо этого ВОР имеет удобный интерфейс, позволяющий визуально сохранять результаты экспериментов и следить за процессом обучения посредством как графического, так и цифрового мониторинга процесса.

Система создана с использованием технологии СОМ, что позволяет выбрасывать отчеты в MS Excel одним нажатием кнопки, что дает поистине неограниченные возможности для дальнейшей обработки результатов прогнозирования. Детальную информацию о пакете можно найти на сайте http://www.znanie.kiev.ua/bopro.htm.

Описание алгоритма обучения Н-сети

Прежде всего, необходимо отметить, что наш алгоритм состоит из двух модулей: модуля тасования пар-примеров и модуля генетического алгоритма глобальной оптимизации.

Алгоритм тасования пар-примеров
Смысл алгоритма заключается в том, чтобы заставить Н-сеть запомнить все примеры и превратиться в модель, представляющую собой "черный ящик", который умеет на парах-примерах правильно сопоставлять входу нужный выход. При этом важно не переобучить сеть. Выражаясь образно - сеть должна вобрать в себя только основной смысл, заложенный в парах-примерах, и пропустить ненужные подробности, засоряющие память.

Здесь можно провести параллель со способностью человека использовать аналогию при принятии решений в ситуациях, не знакомых ему ранее. Прежде всего, следует сказать, что этот алгоритм относится только к парам-примерам, к каждой из которых в свою очередь применяется алгоритм оптимизации, выбранный пользователем.

Схема алгоритма тасования точек на окне:

1. К каждой паре-примеру применяется алгоритм оптимизации, в результате которого мы получаем весовой вектор, при котором ошибка на данной паре-примере меньше или равна заданной . Таким образом, первый раз пройдя по окну последовательно по каждой паре-примеру, мы получаем весовой вектор W.
2. Далее, используя полученный W, мы еще раз проходим по окну и составляем массив ошибок, соответствующий парам-примерам, в результате получая некую схему приоритетов по значениям ошибок.
3. Теперь мы снова проходим по парам-примерам оптимизирующим алгоритмом, но уже не последовательно, а в соответствии со значениями массива ошибок. А именно, начинаем с пары, которой соответствует наибольшая ошибка, и заканчиваем парой с наименьшей ошибкой. При этом пары, на которых на данной итерации достигнута заданная точность, в обучении не участвуют. После этого шага мы получаем новый весовой вектор W и переходим к пункту 2.
4. Обучение заканчивается по достижении заданной точности на каждой паре-примере, либо если превышено допустимое заданное пользователем количество итераций алгоритма тасования.

Модификация генетического алгоритма

В предлагаемом нами алгоритме, как и в других алгоритмах этого класса, имеется стандартный набор варьируемых параметров: размер популяции, уровень мутации, алгоритм изменения мутаций. Модификация нашего алгоритма состоит в применении упрощенной схемы изменения уровня мутаций. Пользователь задает начальный и конечный уровень мутаций в условных единицах и количество итераций алгоритма, за которое уровень мутаций уменьшится с начального значения до конечного. При этом уменьшение уровня мутаций происходит по линейному закону вида . Действие мутаций на координату весового вектора можно описать формулой , где у - уровень мутаций в условных единицах.

Результаты экспериментов

В качестве подтверждения правильности выбора нами третьего подхода приведем сводные таблицы результатов экспериментов. Данные, прогнозируемое значение, лаговые периоды, тип и параметры Н-сети были идентичны. Различие состояло исключительно в том, что Black Oracle Pro™ использует при обучении третий подход, а альтернативная программа - первый подход.

Исходные данные: Пять показателей экономики Украины ([М0] агрегат М0, [М2] агрегат М2, [ИОЦ] индекс оптовых цен, [ИПЦ] индекс потребительских цен, [КВВЭ] кредиты, вложенные в экономику) представлены в виде временных рядов. Данные охватывают период с 01.01.1995 по 01.12.1997, замеры производились ежемесячно. В качестве прогнозируемой величины был взят [ИПЦ].

Лаговая модель Н-сети: Вход (М0[-7], М2[-7], ИОЦ[0], КВВЭ[-7], ИПЦ[0]), выход (ИПЦ[+1]).

Схема эксперимента: Используется окно размером 12 пар-примеров, что составляет 12 месяцев, требуется предсказать 13-ю точку. Сдвигая окно с единичным шагом, спрогнозируем 11 точек. В качестве критерия оптимизации обучающего алгоритма используется точность прогноза - СКО.

Параметры сети: Число входов - 5, число выходов - 1, размерность внутреннего слоя - 10, точность обучения пары-примера - 1.е-5. Параметры генетического алгоритма пакета ВОР: Размер популяции - 40, начальный уровень мутаций у = 320, конечный уровень мутаций - у = 20, предполагаемое число итераций на окне 1000, закон изменения уровня мутаций- линейный.

Таблица 1. Фрагмент исходных данных.

Сводные таблицы результатов экспериментов при различных подходах к обучению: (Условные обозначения: ВР - алгоритм Back Propagation, evo - эволюционный, fall back - с методом отката, Heuristics - с эвристикой, shock - шоковый метод, HJ - метод Хука-Дживса, BO PRO - обозначение применяется к результатам, полученным с помощью BOPro™, GEN генетический алгоритм)

Таблица 2. Результаты прогнозов Н-сети.

Заключение.

Проанализировав результаты, можно сделать несколько важных выводов: При использовании подхода с минимизацией суммарной функции ошибки Н-сеть, как правило, переобучается и, не смотря на отличное качество обучения, прогнозируемые значения далеки от реальных. Другими словами - качественное обучение еще не означает успех при прогнозировании. Предложенный нами алгоритм тасования точек автоматически исключает возможность переобучения, и несмотря на относительно плохое качество обучения, дает на порядок лучшие результаты при прогнозе, чем результаты наших коллег, использующих первый подход.

Применение упрощенной схемы изменения мутаций в генетическом алгоритме увеличивает скорость сходимости и не отражается на качестве прогноза.