Нейронные сети.

Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат. Доказана обобщённая аппроксимационная теорема: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с любой наперёд заданной точностью. Это означает, что нелинейная характеристика нейрона может быть произвольной: от сигмоидальной до произвольного волнового пакета или вейвлета, синуса или многочлена. От выбора нелинейной функции может зависеть сложность конкретной сети, но с любой нелинейностью сеть остаётся универсальным аппроксиматором и при правильном выборе структуры может сколь угодно точно аппроксимировать функционирование любого непрерывного автомата

Нейросетевое прогнозирование

В последнее время при прогнозировании все больше внимания уделяется нетрадиционным методам. Это связано с появлением новых способов обработки информации. Среди них в первую очередь надо отметить нейронные сети, генетические алгоритмы и пр. Отличительная черта этих методов заключается в отсутствии жестких предпосылок их применения и возможности использования в условиях нестабильных экономических ситуаций .

Перспективным направлением прогнозирования в индустрии гостеприимства выступает применение нейронных сетей.

Нейронные сети – это набор нейронов, определенным образом связанных между собой. Основные принципы строения и функционирования биологических нейронов следующие :

1. Основную роль в деятельности нервной системы играют специальные клетки – нейроны (рис. 1.2), связанные между собой нервными волокнами. Нейроны могут посылать друг другу электрические импульсы – сигналы различной силы и частоты.

Рис. 1.2. Биологический нейрон

2. Нейрон состоит из дендритов (по ним принимаются сигналы от других нейронов), тела нейрона (они обеспечивает жизнедеятельность всей клетки) и аксона (это длинная нить, по ней нейрон может передавать сигналы другим нейронам). Аксон контактирует с дендритами других нейронов посредством специальных образований – синапсов, которые влияют на силу сигнала. Таким образом, синапсы можно считать входами нейрона.

3. Сигналы, полученные нейроном от нескольких других нейронов одновременно, суммируются. Если сила суммарного сигнала превышает некоторое пороговое значение (важна также длительность сигнала), то нейрон возбуждается, генерирует собственный импульс и передает его по аксону.Чтобы построить математическую модель (рис. 1.3), необходимо принять несколько предположений:

1. Каждый нейрон обладает передаточной функцией (рис. 1.4), определяющей условия его возбуждения в зависимости от силы полученных сигналов. Передаточные функции не зависят от времени.

2. При прохождении синапса сигнал меняется линейно, т.е. сила сигнала умножается на некоторое число, которое называется весом синапса или весом соответствующего входа нейрона.

3. Деятельность нейронов синхронизирована, т.е. время прохождения сигнала от нейрона к нейрону фиксировано и одинаково для всех связей. То же самое относится ко времени обработки принятых сигналов.

Рис. 1.3. Математический нейрон

Веса синапсов могут меняться со временем – это принципиальная особенность. Именно изменение этих весов отвечает за возможность различной реакции организма на одни и те же условия в разные моменты времени, т.е. возможность обучения.

Искусственные нейросети обладают определенными биологическими чертами, такими, как параллельность обработки информации в нейронах и адаптивность. Утверждение, что нейросеть – это черный ящик – отражает важный недостаток нейросетевого подхода – сложную интерпретируемость результатов. Ответ сети – нелинейная функция от входных значений, и поэтому непросто понять, какими особенностями входного примера обусловлена реакция сети. Однако в некоторых практических задачах интерпретация не столько важна, как сам результат.

Нейросети способны к самообучению, хотя пользователю необходимо грамотно готовить данные, выбирать тип сети, подстраивать различные параметры и учиться интерпретировать результаты.

Рис. 1.4. Работа нейрона

В настоящее время нейросетевая технология становится обычным инструментом обработки данных, достаточно сложный в освоении и использовании, но эффективной для определенного класса задач. Список этих задач постоянно растет.

Основные этапы решения задач традиционными статистическими и продвинутыми нейросетевыми методами представлены на рис. 1.5 и 1.6.

Рис. 1.5. Традиционный статистический подход

Рис. 1.6. Нейросетевой подход

Улучшенные методы моделирования, например, адаптивные модели экспоненциального сглаживания, дают не больше интерпретируемой информации, чем нейронные сети.

Преимущества нейросетевых технологий таковы:

1) возможность решения практически любой задачи;

2) задачи могут быть плохо формализованы, иметь зашумленные и неверные входные данные;

3) отсутствие всяких требований к форме распределения данных;

4) возможность комбинирования сетей;

5) сочетание способности компьютера к обработке чисел и способности мозга к обобщению и распознаванию.

Существует большое количество сетей . К основным видам относятся:

1. Многослойный персептрон. В настоящее время сети многослойного персептрона (MLP) являются самыми широко используемыми. В них применяются линейная пост-синаптическая функция и нелинейная функция активации. Количество слоев и нейронов в каждом слое – неограничено. Применение в выходном слое MLP линейной функции активации позволяет проводить экстраполяцию данных, т. е. строить прогнозы. Сеть MLP можно обучать многими методами. Самым известным является метод обратного распространения, разработка которого свершила прорыв в технологии нейронных сетей. К сожалению, обратное распространение – самый медленный метод, застревающий в локальных минимумах, требующий установки множества параметров обучения.

2. Сети радиальной базисной функции. Сеть радиальной базисной функции (RBF) имеет только один скрытый слой, в котором используются радиальные элементы. Обучение происходит в три этапа: размещение центров, определение отклонений и линейная оптимизация выходного слоя. Сеть RBF обучается быстро, не проявляет склонности к необоснованной экстраполяции.

3. Сети Кохонена. Пожалуй, самый оригинальный вид сети. Они не имеют четко выраженного выходного слоя. Данные со входного слоя подаются на так называемую карту Кохонена, которая представляет собой, как правило, двумерную матрицу нейронов . Эта сеть использует неконтролируемое обучение, что позволяет: искать зависимости в новых данных (т. е. тех, у которых не известен заранее результирующий показатель) – проводить разведочный анализ данных; классифицировать данные без классификатора; решать задачу близости классов.

4. Линейные сети имеют два слоя – входной и выходной, обучаются мгновенно.

5. Байесовские сети. Вид сети, используемый только для классификации.

6. Регрессионные сети обучаются довольно быстро, но имеют большой размер.

7. Большой набор сетей, применимых только в отдельных задачах, но все-таки являющихся определенным этапом в процессе развития нейросетевых технологий: Adaline, Boltzmann, Brain-State-In-a-State, изучение категорий, Hopfield, Madaline, Perceptron, SPR.

Обучение сетей – один из главных этапов разработки нейросетевой модели. Существует большое количество методов обучения: обратное распространение; спуск по сопряженным градиентам, метод Levenberg-Marquardt, быстрое распространение, Delta-Bar-Delta, алгоритм Кохонена, обучение RBF (несколько способов для каждого из трех шагов), методы обучения вероятностных, регрессионных сетей. Применение того или иного вида обучения связано в первую очередь с видом используемой сети, а кроме того, и с удобством использования. Некоторые алгоритмы обучения требуют установки множества параметров и процедура обучения сети может затянуться надолго. Современные методы обучения, как например, сопряженные градиенты, обеспечивают быстрое обучение без утомительной настройки.

Реализация нейросетевых технологий имеет два основных вида: программную и аппаратную. Аппаратная реализация требует специального рассмотрения и в пособии не изложена. Перед пользователем программной реализации нейронных сетей первой становится задача выбора способа их использования . Сравнительные преимущества и недостатки каждого из видов представлены в табл. 1.3.

Таблица 1.3

Секторы рынка нейросетевых программных продуктов*

* Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. МИФИ. М., 1998.

Программная реализация нейронных сетей претерпевает в настоящее время бум. Большинство компаний – производителей программного обеспечения по статистической обработке и анализу данных (не говоря уже о Data Mining) – имеет в своем арсенале и пакет нейросетевого моделирования.

Назовем основные: STATISTICA Neural Networks (StatSoft – http://www.statsoft.ru), SPSS Neural Connection (SPSS – http://www.spss.com, http://www.spss.ru), SAS Enterprise Miner (SAS Institute – http://www.sas.com), NeuroShell, NeuroWindows (Ward Systems Group), NeuroBuilder и, конечно, BrainMaker. Список далеко не полон. На WEB-страницах, указанных в списке информационных ресурсов Интернет, можно найти более полный.

Кластеризация с помощью нейронных сетей и поиск зависимостей

Помимо задач классификации, нейронные сети широко используются для поиска зависимостей в данных и кластеризации.