Обучение персептрона с использованием нормированной функции настройки

Министерство высшего и среднего специального образования РФ

Тверской государственный технический университет

Кафедра «Информационных систем»

 

 

 

 

 

 

 

 

 

 

 

Курсовой проект

 по дисциплине

«Интеллектуальные информационные системы»

 

Тема: «Обучение персептрона с использованием нормированной функции настройки»

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Выполнил:                       студент N курса ЗФ

                                     Группы XXX

XXXXXXX № XXXXX

Принял(а):XXXXXXXXXXX

 

 

 

 

 

Город 2011

Содержание

Введение ………………………………………………………………..………. 3

1. Аналитическая часть

1.1  Понятие  интеллектуальной информационной  системы …….....…. 5

1.2 Понятие  нейронных сетей ………………………………….....…….. 8

1.3 Обзор  информационных технологий/программных  средств для реализации алгоритмов  нейронных сетей …………………………………… 11

2. Практическая часть

2.1 Программная  среда MATLAB …………………………….….…… 19

2.2 Детальное  описание особенностей выполнения  демонстрационного примера …………………………………………………….………………….. 25

2.3 Программный  код ………………………………………………….. 32

Заключение …................................................................................................... 34

Список литературы …………………………………………………………. 35 
Введение

 

Под информационными технологиями понимается совокупность методов, использующих информационные законы, модели и процессы для производства средств и методов работы с информацией. В последнее время в рамках научного направления искусственный интеллект появилось понятие современных информационных технологий, к которым относятся: инженерия знаний, обработка нечеткой информации, мягкие вычисления (softcomputing), нейросетевые технологии, эволюционное моделирование (генетические алгоритмы), многоагентные системы. Перечисленные технологии реализуют не только новые модели представления знаний, но и современные эвристические алгоритмы для получения приближенных решений, когда точное решение найти или невозможно, или трудоемко. Интеллектуальные информационные технологии – это средство для разработки интеллектуальных информационных систем, которые в последнее время становятся весьма распространенным коммерческим продуктом, находящим широкий спрос пользователей в самых разнообразных областях деятельности.

Дисциплина «Интеллектуальные информационные системы» (ИИС) рассматривает способы построения информационных систем для решения неформализованных задач в различных сферах творческой деятельности человека. Особое внимание уделяется вопросам построения экспертных систем, которые являются наиболее значительным результатом практической реализации теории искусственного интеллекта. Рассматриваются процедуры имитации мыслительной деятельности человека в определенной предметной области, алгоритмы выделения признаков для описания ситуаций в условиях неопределенности.

Изучаются математические и алгоритмические основы интеллектуальных информационных систем: модели представления знаний на основе систем продукций, семантических сетей и фреймов; выводы на знаниях; нечеткая информация и выводы; нейронные сети; методы эвристического поиска решений и программирования задач в среде CLIPS, пакете прикладных программ NeurealNetworkToolbox, функционирующего под управлением ядра системы MATLAB.

Целью выполнения курсового проекта является расширение теоретических и закрепление практических знаний, полученных в ходе аудиторных и самостоятельных занятий по дисциплине Интеллектуальные информационные системы.

Для достижения поставленной цели необходимо решить следующие задачи:

• самостоятельно изучить специальную литературу;
• изучить встроенные инструментальные средства системы для математических расчетов MATLAB;

рассмотреть возможности и особенности базового программного обеспечения из состава ППП NeuralNetworkToolbox (NNT) ПС MATLAB 6; 

1.1 Понятие интеллектуальной информационной системы

 

Интеллектуальная информационная система (ИИС) — это информационная система, которая основана на концепции использования базы знаний для генерации алгоритмов решения экономических задач различных классов в зависимости от конкретных информационных потребностей пользователей.

Для интеллектуальных информационных систем, ориентированных на генерацию алгоритмов решения задач, характерны следующие признаки:

• развитые коммуникативные способности;
• умение решать сложные, плохо формализуемые задачи;
• способность к самообучению.

Интеллектуальные информационные системы можно классифицировать как:

• интеллектуальные базы данных, в том числе с интерфейсами, использующими естественный язык, гипертекст и мультимедиа, когнитивную графику;
• статические и динамические экспертные системы;
• самообучающиеся системы на принципах индуктивного вывода, нейронных систем, поиска прецедентов, организации информационных хранилищ;
• адаптивные информационные системы на основе использований CASE-технологий и/или компонентных технологий.

Коммуникативные способности ИИС характеризуют способ взаимодействия (интерфейса) конечного пользователя с системой, в частности, возможность формулирования произвольного запроса в диалоге с ИИС на языке, максимально приближенном к естественному.

Интеллектуальные системы решают задачи динамического моделирования для реинжиниринга (реорганизации) бизнес-процессов. В основные задачи интеллектуальных систем динамического моделирования для реинжиниринга бизнес-процессов входят:

 

1) определение  оптимальной последовательности  выполняемых операций, которая сокращает  цикл изготовления и продажи  товаров и услуг, обслуживания  клиентов. Следствие оптимизации  — повышение оборачиваемости  капитала и рост всех экономических  показателей фирмы;

2) оптимизация  использования ресурсов в различных  бизнес-процессах, минимизирующая издержки  производства и обращения;

3) построение  адаптивных бизнес-процессов, цель  которых быстро реагировать на  изменения потребностей конечных  потребителей продукции, производственных  технологий, поведения конкурентов  на рынке и, как следствие, повышать  качество обслуживания клиентов  в условиях динамичности внешней  среды;

4) оптимизация  финансовых потоков, обеспечение  равномерного поступления и использования  денежных средств в результате  отработки рациональных схем  взаимодействия с партнерами, сочетания  бизнес-процессов.

Заметим, информационные системы в сфере фондовых рынков предназначены для повышения прозрачности рынка наиболее добротных ценных бумаг и увеличения оборота средств.

Для внебиржевой торговли ценными бумагами инвестиционными институтами, в том числе банками, создаются специализированные учреждения или подразделения, в том числе так называемые фондовые магазины. Для автоматизации их работы разрабатываются специальные системы, одна из которых — «Фондовый магазин». Система предназначена для переуступки прав собственности по ценным бумагам, выпущенным в безбланковой форме. Она взаимодействует с системой учета прав собственности, обеспечивая гарантированную поставку безналичных ценных бумаг.

 

1.2Понятие нейронных сетей

 

Под нейронными сетями (НС) понимают параллельные вычислительные структуры которые моделируют биологические процессы обычно ассоциируемые с процессами человеческого мозга. НС обладают способностью приобретать знания о предметной области, обучаясь на примерах.  
 История НС начинается с работ американских ученых У. Мак-Каллона, В. Питтса (1943г. модель формального нейрона) и Ф. Розенблатта (1957г. однослойная НС, названная им персептроном). Персептрон – электронное устройство, моделирующее глаз улитки и его взаимодействия с мозгом.

Искусственный нейрон — это элементарный преобразовательный элемент, имеющий непустое множество входов, на которые поступают сигналы х1, х2, …, хn. Суммирующий блок, блок преобразования сигнала с помощью активационной проекции и один выход Уо. Каждому входу приписан свой «вес» w (соответствующий мере» биологической синоптической связи). Функционирует нейрон в два такта, на первом такте в суммирующем блоке вычисляется величина возбуждения полученного нейроном. Другими словами, нейрон имеет входные сигналы, в биологическом нейроне роль «собирателя» этих сигналов от другий нейронов служит дендрит, и у нейрона есть выходной сигнал, в биологическом нейроне передатчиком сигналов другим нервным клеткам служит аксон. Другими словами, в нейрон от других нейров приходит какое-то число сигналов, обработав их, нейрон передает выходной сигнал далее, другому нейрону.  
 Функционирует нейрон в два такта, на первом такте в суммирующем блоке вычисляется величина возбуждения полученного нейроном 
 
 На втором такте суммарное возбуждение пропускается через активационную (преобразующую) функцию F в результате чего получается выходной сигнал Yо = F(Y). 
 
Существует 4 вида активационной функции: 
1) Линейная функция (гистерезис)  
 
 
2) Функция единого скачка 
 
 
3) Сигмоидальная функция активации 
 
4) гиперболический тангенс 
 
Применение  
НС это инструмент для решения широкого класса задач, используется в качестве средства обработки информации, обладая следующими возможностями: 
 1) гибкая модель для нелинейной аппроксимации многомерных функций; 
 2) средство прогнозирования во времени процессов, зависящих от многих переменных; 
 3) классификатор по многим признакам; 
 4) средство распознавания образов; 
 5) поиск закономерностей в массивах данных и др.

 

1.3 Обзор информационных технологий/программных средств для реализации алгоритмов нейронных сетей

Типы аппаратного обеспечения на основе ИНС

 
 Существует большое количество типов рассматриваемых устройств, однако их можно разделить на три основных класса, которые могут применяться в зависимости от поставленных и выполняемых задач. 
Нейрокомпьютеры (Neurocomputer). Представители шестого поколения ПК представляют собой комплексную систему, аппаратные составляющие которой полностью основаны на ИНС. Создание таких систем обосновано при необходимости выполнения обработки информации, требующей высоких вычислительных мощностей. 
 Разного типа ускорители и другие карты расширения для ПК (PC accelerators). Такие устройства представляют собой стандартные карты расширения для шины, например, ISA или PCI, с тем лишь отличием, что обработку данных осуществляет ИНС. Такие устройства обладают некоторыми преимуществами нейрокомпьютеров, но в более узком или специализированном диапазоне выполняемых задач, а, соответственно, и низком ценовом диапазоне. 
 Чипы (Chips). Тип аппаратной реализации ИНС, применяемый для построения вышеназванных форм реализации, а также предназначенный для совместного использования с другими стандартными устройствами для расширения свойств последних. 
 Клеточные библиотеки (Celllibraries). Такой тип предназначен для обеспечения совместной работы специализированного чипа и некоторых дополнительных возможностей и функций, предоставляемых другими устройствами. Широко применяется при построении сложных комплексных систем. 
 Встроенные микрокомпьютеры (Embeddedmicrocomputers). Такие устройства способны выполнять определенный круг задач с помощью ИНС, но без участия периферийных устройств (клавиатуры, монитора и т. д.). 
 Некоторые ускорители могут содержать обычные перепрограммируемые процессоры, повышение производительности которых обеспечивается распараллеливанием вычислительных повторяющихся операций с помощью ИНС. Отметим, что далее сконцентрируемся на устройствах, в которых функциональные возможности самой ИНС непосредственно осуществлены в аппаратном обеспечении. 
 

Категории аппаратного обеспечения ИНС 
 Рассмотрим вопрос, связанный с практическим исполнением и внедрением ИНС в аппаратные средства. В этом случае, опять же, можно выделить три широких класса: цифровое, аналоговое и гибридное исполнения. В рамках этих категорий используется различная архитектура и методы для реализации необходимых функций. 

Цифровое исполнение 
 В цифровом исполнении все значения, обрабатываемые нейронной сетью, представлены бинарными словами с характерной длиной слова. К преимуществам цифровой технологии перед аналоговой следует отнести независимость от электромагнитных помех, возможность использования RAM для хранения весовых коэффициентов (в течение неопределенного отрезка времени), хорошо отработанные технологии изготовления, высокая точность в вычислительных операциях, а также легкая интегрируемость в уже существующие системы. Однако в этом случае, как и везде, присутствуют недостатки, среди которых следует отметить более медленные (хотя и более точные) вычисления, а также проблемы, связанные с конвертацией аналогового сигнала. 
 В случае цифрового исполнения аппаратное обеспечение на основе ИНС может быть реализовано несколькими типами архитектур, наиболее важные из них мы рассмотрим и приведем соответствующие примеры. 
Каскадируемая архитектура. Рассматриваемая архитектура практически идентична методам построения обычных цифровых процессоров, другими словами, нейронная сеть любого размера и архитектуры строится посредством стандартных блоков. Реализованными примерами такой архитектуры могут служить чип PhilipsLneuro, MD1220 от MicroDevices, а также Neuralogix NLX-420 NeuralProcessor. 
 Мультипроцессорные чипы. В этом случае подход состоит в размещении в одном чипе множества простейших процессоров. Такие решения могут быть разделены на две группы, известные как SIMD (SingleInstruction, MultipleData) и так называемые систолические сети. В случае SIMD, все процессоры выполняют одну и ту же инструкцию параллельно с вектором данных. Во втором случае каждый процессор неоднократно исполняет один шаг вычислений перед передачей результата следующему (или нескольким) процессору в сети. Примерами SIMD-архитектуры являются чип Inova N64000, содержащий 64 элемента обработки, чип HNC 100NAP, включающий в себя 4 обрабатывающих элемента, Siemens внедрила в свой мультипроцессор MA 16 микрочипов. Такая архитектура предназначена, главным образом, для исполнения различных действий над матрицами. 
 Архитектура RBF (RadialBasisFunction). Согласно этой архитектуре, функционирование сети определяется управлением эталонными векторами, определяющими области, на которые влияют данные при обучении. Преимуществом RBF ИНС является их быстрое обучение и относительно простое построение сетей прямого распространения. К коммерческим изделиям относятся чипы IBM ZICS и Nestor Ni1000. Интересным фактом является также и то, что произведенные в США чипы семейства IBM ZICS были разработаны в Европе. 
 Другие цифровые проекты. Ряд существующих архитектур не подходят ни под одну из вышеназванных категорий. К примеру, разработка фирмы MicroCircuitEngineering MT19003 NISP, по существу, RISC-процессор (Redu-cedInstructionSetComputer, тип архитектуры микропроцессора, ориентированный на быстрое и эффективное выполнение относительно небольшого набора встроенных команд), осуществляющий семь инструкций, оптимизированных для построения многослойных сетей. Еще одним примером, реализующим другой подход, может служить чип HitachiWaferScaleIntegration. Чипы этого семейства предназначены для реализации сетей обратного распространения и сетей Хопфилда. 
 
 В Стэнфордском университете (StanfordUniversity) разработан микрочип, который способен стимулировать нейроны посредством химических соединений, а не электрических импульсов.