Использование нейронных систем в «интеллектуальных информационных технологиях» при поддержке принятия управленческих решений

 

 

 

 

 

 

 

2. НЕЙРОННЫЕ СЕТИ

 

2.1 Понятие нейронных сетей

 

В последние несколько лет мы наблюдаем взрыв интереса к нейронным сетям, которые успешно применяются в самых различных областях - бизнесе, медицине, технике, геологии , физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления. Такой впечатляющий успех определяется несколькими причинами:

• Богатые возможности.  Нейронные сети - исключительно мощный метод моделирования, позволяющий воспроизводить чрезвычайно сложные зависимости. В частности, нейронные сети нелинейны по свой природе (смысл этого понятия подробно разъясняется далее в этой главе). На протяжение многих лет линейное моделирование было основным методом моделирования в большинстве областей, поскольку для него хорошо разработаны процедуры оптимизации. В задачах, где линейная аппроксимация неудовлетворительна (а таких достаточно много), линейные модели работают плохо. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать линейные зависимости в случае большого числа переменных
• Простота в использовании.  Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики.

Нейронные сети привлекательны с интуитивной  точки зрения, ибо они основаны на примитивной биологической модели нервных систем. В будущем развитие таких нейро-биологических моделей  может привести к созданию действительно мыслящих компьютеров. Между тем уже "простые" нейронные сети, которые строит система ST Neural Networks , являются мощным оружием в арсенале специалиста по прикладной статистике.

 

 

 

2.2 Параллели из биологии

 

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга (Patterson, 1996). Основной областью исследований по искусственному интеллекту в 60-е - 80-е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, не ухватывают некоторые ключевые аспекты человеческого интеллекта. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоянии воспроизвести структуру мозга. Чтобы создать искусственных интеллект, необходимо построить систему с похожей архитектурой.

Мозг состоит из очень большого числа (приблизительно 10,000,000,000) нейронов, соединенных многочисленными связями (в среднем несколько тысяч  связей на один нейрон, однако это число может сильно колебаться). Нейроны - это специальная клетки, способные распространять электрохимические сигналы. Нейрон имеет разветвленную структуру ввода информации (дендриты), ядро и разветвляющийся выход (аксон). Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону. Через синапсы этот сигнал достигает других нейронов, которые могут в свою очередь активироваться. Нейрон активируется тогда, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации).

.Интенсивность сигнала, получаемого  нейроном (а следовательно и возможность  его активации), сильно зависит  от активности синапсов. Каждый  синапс имеет протяженность, и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей нейросистем, Дональд Хебб, высказал постулат, что обучение заключается в первую очередь в изменениях "силы" синаптических связей. Например, в классическом опыте Павлова, каждый раз непосредственно перед кормлением собаки звонил колокольчик, и собака быстро научилась связывать звонок колокольчика с пищей. Синаптические связи между участками коры головного мозга, ответственными за слух, и слюнными железами усилились, и при возбуждении коры звуком колокольчика у собаки начиналось слюноотделение.

 

 

Таким образом, будучи построен из очень  большого числа совсем простых элементов (каждый из которых берет взвешенную сумму входных сигналов и в  случае, если суммарный вход превышает определенный уровень, передает дальше двоичный сигнал), мозг способен решать чрезвычайно сложные задачи. Разумеется, мы не затронули здесь многих сложных аспектов устройства мозга, однако интересно то, что искусственные    нейронные сети способны достичь замечательных результатов, используя модель, которая ненамного сложнее, чем описанная выше.

 

2.3 Базовая искусственная модель

 

Чтобы отразить суть биологических нейронных  систем, определение искусственного нейрона дается следующим образом:

Он  получает входные сигналы (исходные данные либо выходные сигналы других нейронов нейронной сети) через несколько  входных каналов. Каждый входной  сигнал проходит через соединение, имеющее определенную интенсивность (или вес); этот вес соответствует синаптической активности биологического нейрона. С каждым нейроном связано определенное пороговое значение. Вычисляется взвешенная сумма входов, из нее вычитается пороговое значение и в результате получается величина активации нейрона (она также называется пост-синаптическим потенциалом нейрона - PSP).

Сигнал  активации преобразуется с помощью  функции активации (или передаточной функции) и в результате получается выходной сигнал нейрона.

.Если  при этом использовать ступенчатую  функцию активации (т.е., выход нейрона равен нулю, если вход отрицательный, и единице, если вход нулевой или положительный), то такой нейрон будет работать точно так же, как описанный выше естественный нейрон (вычесть пороговое значение из взвешенной суммы и сравнить результат с нулем - это то же самое, что сравнить взвешенную сумму с пороговым значением). В действительности, как мы скоро увидим, пороговые функции редко используются в искусственных нейронных сетях. Учтите, что веса могут быть отрицательными, - это значит, что синапс оказывает на нейрон не возбуждающее, а тормозящее воздействие (в мозге присутствуют тормозящие нейроны).

Это было описание отдельного нейрона. Теперь возникает вопрос: как соединять  нейроны друг с другом? Если сеть предполагается для чего-то использовать, то у нее должны быть входы (принимающие значения интересующих нас переменных из внешнего мира) и выходы (прогнозы или управляющие сигналы). Входы и выходы соответствуют сенсорным и двигательным нервам - например, соответственно, идущим от глаз и в руки. Кроме этого, однако, в сети может быть еще много промежуточных (скрытых) нейронов, выполняющих внутренние функции. Входные, скрытые и выходные нейроны должны быть связаны между собой.

Ключевой вопрос здесь - обратная связь (Haykin, 1994). Простейшая сеть имеет структуру прямой передачи сигнала: Сигналы проходят от входов через скрытые элементы и в конце концов приходят на выходные элементы. Такая структура имеет устойчивое поведение. Если же сеть рекуррентная (т.е. содержит связи, ведущие назад от более дальних к более ближним нейронам), то она может быть неустойчива и иметь очень сложную динамику поведения. Рекуррентные сети представляют большой интерес для исследователей в области нейронных сетей, однако при решении практических задач, по крайней мере до сих пор, наиболее полезными оказались структуры прямой передачи, и именно такой тип нейронных сетей моделируется в пакете ST Neural Networks.

Типичный пример сети с прямой передачей  сигнала показан на рисунке. Нейроны  регулярным образом организованы в  слои. Входной слой служит просто для ввода значений входных переменных. Каждый из скрытых и выходных нейронов соединен со всеми элементами предыдущего слоя. Можно было бы рассматривать сети, в которых нейроны связаны только с некоторыми из нейронов предыдущего слоя; однако, для большинства приложений сети с полной системой связей предпочтительнее, и именно такой тип сетей реализован в пакете ST Neural Networks.

При работе (использовании) сети во входные  элементы подаются значения входных  переменных, затем последовательно отрабатывают нейроны промежуточных и выходного слоев. Каждый из них вычисляет свое значение активации, беря взвешенную сумму выходов элементов предыдущего слоя и вычитая из нее пороговое значение. Затем значение активации преобразуются с помощью функции активации, и в результате получается выход нейрона. После того, как вся сеть отработает, выходные значения элементов выходного слоя принимаются за выход всей сети в целом.

2.4 Современные информационные технологии и нейронные сети

 

Первые работы, относящиеся к моделированию искусственных нейронных сетей, появились более четырех десятков лет тому назад. Эти исследования представлялись весьма перспективными благодаря удивительным свойствам, присущим искусственным нейронным сетям, напоминающим работу мозга (способность к обобщению воспринимаемой информации, к извлечению существенных свойств из зашумленных данных, к обучению и самообучению на основе собственного опыта функционирования и т.п.). Однако вскоре наступила пора разочарований и затишья, возможно из-за недостаточно развитой в то время полупроводниковой технологии и переключения внимания исследователей на новые модели и методы обработки и использования знании.

После многих лет почти  полного забвения интерес к методам  нейросетевой обработки информации возник снова несколько лет тому назад, в частности, в связи с развитием микроэлектронной технологии и разработкой принципиально новых физических принципов реализации элементов и фрагментов нейронных сетей, в том числе сетей с очень большим числом нейронов. Это в свою очередь резко активизировало исследования в области нейроматематики (методов решения задач в нейросетевом базисе) и в области архитектур компьютеров нового типа - нейрокомпьютеров. Основное отличие нейрокомпьютеров от традиционных вычислительных машин состоит в том, что основой вычислений является не алгоритм в классическом его понимании и представлении (например, в виде граф схемы алгоритма или в виде логической схемы алгоритма), а некий способ вычислений в нейросетевом логическом базисе, т.е. в виде нейронной сети определенной структуры определенной схемы настройки.

Именно эта особенность  и позволяет рассматривать нейросетевую обработку информации в качестве отдельного направления современной  информационной технологии.

Прежде всего, когда  мы говорим о нейронных сетях, то чаще имеем в виду искусственные нейронные сети. Некоторые искусственные нейронные сети моделируют биологические нейронные сети, некоторые нет. Однако исторически сложилось так, что первые искусственные нейронные сети, были созданы в результате попыток получить компьютерную модель, воспроизводящую деятельность мозга в упрощенной форме. Конечно, возможности человеческого мозга неизмеримо больше, чем возможности самой мощной искусственной нейронной сети. Однако искусственные нейросети обладают рядом свойств присущих биологическим нейросетям, в том числе и человеческому мозгу.

Главное свойство нейросетей - способность к обучению. Для  решения какой-либо задачи на компьютере традиционным методом необходимо знать  правила (математические формулы), по которым из входных данных можно получит выходные (найти решение задачи). С помощью нейросети можно найти решение, не зная правил, а имея несколько примеров. Нейросети используют подход к решению задач более близкий к человеческому, чем традиционные вычисления. В самом деле, например, когда человек переходит улицу, он оценивает скорость движения автомобиля исходя из предыдущего опыта не используя математических вычислений. Или, например, как ребенок без труда может отличить кошку от собаки, основываясь на ранее виденных им примерах. При этом часто он не может точно сказать, по каким признакам он их отличает, т.е. он не знает четкого алгоритма.

Другое важное свойство нейросетей - способность находить решение, основываясь  на зашумленных, искаженных и даже противоречивых данных!

Еще одно замечательное свойство это  отказоустойчивость. В случае выхода из строя части нейронов, вся сеть в целом продолжает оставаться работоспособной, хотя, конечно, точность снижается. Это  свойство важно для аппаратно  реализованных нейросетей, т.к. если нейросеть эмулируется на традиционном компьютере, то в случае выхода из строя центрального процессора вся нейросеть потеряет работоспособность.

В принципе нейронные сети могут  вычислить любую функцию, имеющую  решение. Иными словами, делать все, что могут делать традиционные компьютеры.

На практике, для того, чтобы  применение нейронной сети было оправдано, необходимо, чтобы задача обладала следующими признаками:

• отсутствует алгоритм или не известны принципы решения задач, но накоплено достаточное число примеров;
• проблема характеризуется большими объемами входной информации;
• данные неполны или избыточны, зашумлены, частично противоречивы.

Таким образом, нейросети хорошо подходят для распознавания образов и  решения задач классификации, оптимизации и прогнозирования. Ниже приведен перечень возможных промышленных применений нейронных сетей, на базе которых либо уже созданы коммерческие продукты, либо реализованы демонстрационные прототипы.

Банки и страховые компании:

• автоматическое считывание чеков и финансовых документов;

• проверка достоверности подписей;

• оценка риска для займов;

• прогнозирование изменений экономических  показателей.