История развития нейронных сетей

История развития НС

Начало серьезных исследований в области нейронных сетей  связано с именами Фридриха Хайека и Дональда Хэбба, которые первыми выдвинули теорию обучения человеческого мозга, как процесса формирования связей между нейронами. [Нейробудущее. Хакер#074]

Теория нейронных сетей, как научное направление, впервые была обозначена в классической работе нейрофизиолога Уоррена МакКаллока и математика Уолтера Питтса "Логическое исчисление идей, относящихся к нервной деятельности" (1943 г.), в которой была построена модель нейрона и сформулированы принципы построения искусственных нейронных сетей. В ней впервые была исследована способность нейронной сети к обучению, а также утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети.

В соответствии с этими  принципами американский нейрофизиолог Френк Розенблатт в 1958 году предложил свою модель нейронной сети — персептрон, состоящий из одного слоя искусственных нейронов. В 1960 г. Розенблатт создал первый нейрокомпьютер Марк-1.

Рисунок – Френк Розенблатт и нейрокомпьютер Марк-1;

однослойный перцептрон с входным распределительным слоем

Перцептрон был предназначен для классификации объектов. На этапе обучения «учитель» сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе предъявляемые ему впервые, делая при этом очень мало ошибок. [1]

[Персептроны были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден, и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.

Но эта иллюзия скоро  рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые  они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. [Уоссермен - НКТ, введение с.8]

В 1969 г. бывший сокурсник Розенблатта Марвин Минский и Сеймур Пайперт опубликовали книгу «Перцептроны», в которой привели строгое математическое доказательство того, что перцептрон не способен к обучению в большинстве интересных для применения случаев.

В частности, было доказано, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «исключающее ИЛИ». Минский также не был оптимистичен относительно потенциально возможного здесь прогресса.

Блеск и строгость аргументации Минского, а также его престиж  породили огромное доверие к книге  – ее выводы были неуязвимы.

Однако, подробный анализ их аргументов показывает, что они оспаривали не совсем тот персептрон, который предлагал Розенблатт, но так как Розенблатт погиб, то он не смог аргументировано ответить на критику. В результате принятия идей и выводов книги М. Минского и С. Пайперта работы по нейронным сетям были свернуты во многих научных центрах, финансирование существенно урезано и крупные исследования по нейронным сетям были свернуты почти на 20 лет.

Тем не менее, несколько наиболее настойчивых ученых, таких как  Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликованные в семидесятые и начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур. [4]

В 1975 году Кунихико Фукушима представляет ученому миру когнитрон – первую многослойную нейронную сеть, лишенную большинства недостатков перцептрона [и выполняющую различные алгоритмы обработки информации (2)] Джон Хопфилд в 1982 году разработал сеть, позволяющую передавать сигналы в обоих направлениях, тогда как до этого момента движение импульса в сети было исключительно односторонним. Наконец, в середине восьмидесятых возникли разработки нейросетевых систем параллельных вычислений (1985) и сетей с обратным распространением ошибки (1986). [Нейробудущее. Хакер#074]

Новый взлет теории нейронных  сетей начался в 1983-1986 г. г. При  этом важную роль сыграли работы группы PDP (Parallel Distributed Processing). В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. Как закономерное следствие –– именно многослойные персептроны, отличающиеся разнообразием возможностей использования по количеству успешно решенных прикладных задач, стали занимать ведущее положение в новой, зародившейся вначале 1960-х гг. области знания –– нейробионике. [2]

В 90-х годах активность по предложению новых нейропарадигм несколько снизилась, но зато нейросети и нейрочипы вошли в инженерный обиход. Активно продолжается исследование характеристик различных нейросетей. Нейросетевые методы активно используются в новых кибернетических направлениях, таких как "Искусственная жизнь" и "Адаптивное поведение" [3]

[1. Роберт Хехт-Нильсен - Нейрокомпьютинг: история, состояние, перспективы osp.ru

2. Липов - Из истории нейрокомпьютинга

3. Владимир Редько - ИНС

4. AIportal - История НС

5. Осовский - НС для обр. инф.

6. Уоссермен - НКТ, введение]