Биологически инспирированные средства обработки информации: нейронные сети и нейрокомпьютеры

Биологически инспирированные средства обработки информации: нейронные сети и нейрокомпьютеры

В 1943 г. МакКаллох и Питтс, основываясь на известных к тому времени данных о структуре коры головного мозга, предложили нейросетевой подход к обработке информации .

К тому времени было уже известно, что кора головного мозга представляет

собой сложную систему соединенных друг с другом нервных клеток нейронную сеть (рис . 9.2). У каждого нейрона есть от ветвления - дендриты ,

по которым в нейрон поступают сигналы от других нейронов. Они алгебраически (т.е. с учетом знака пришедшего сигнала) суммируются и, если эта сумма превышает некоторое предельное значение, нейрон передает по выходному ответвлению (аксону) сигнал, который доходит, в принципе, до всех остальных сигналов сети. Сигналы на входе каждого нейрона регулируются группировками клеток - синапсами. Именно они определяют структуру нейронной сети, т.е. характер соединения нейронов. А это, в свою очередь, определяет, какую конкретно задачу решает кора головного мозга .

 

 

  Синапсы играют основную роль в процессвх обучения . Их число и распределение значительно меняется с рождения ребенка по мере его взросления. .

Модель нейронной сети МакКаллоха (W.J. McCulIoch) и Питтса

(W. Pitts) описывает в упрощенном виде структуру коры головного мозга .

Нейрониая сеть представляет собой систему элементарных процессеров формальных нейронов (рис . 9.2). Каждый из них получает положительный

или отрицательный сигнал от всех нейронов сети с некоторыми варьируемыми весами, имитирующими синаптические соединения. Нейрон алгебраически суммирует эти сигналы и, если их сумма превышает заданное пороговое значение, генерирует импульс, распространяющийся по сети. Исходное состояние сети задается варьируемыми весами. Их набор определяет структуру решаемой сетью задачи. После того как начальное состояние сети задано, структура сети эволюционирует во времени и ее конечное состояние является решением выбранной задачи. Замечательное свойство нейронной сети заключается в том, что обработка информации осуществляется одновременно всеми нейронами сети, т. е. с грандиозным параллелизмом, не идущим в сравнение со степенью параллелизма даже современных полупроводниковых многопроцессорных ЭВМ. В отличие от фон-неймановского компьютера переход от решения сетью одной задачи к другой определяется не вводимой программой, а начальными состояниями нейронов и структурой сети заданием системы весов, с которыми сигналы каждого нейрона передаются по сети.

Крупный шаг в развитии представлений о нейровных сетях сделал в

1962 г. американский  нейрофизиолог Фрэнк Розенблатт (F. Rosenblatt).

Им была предложена структура произвольной нейронной сети , названная персеп троном, которая было основана на трех типах нейронов (рис . 9.2). Сенсорные нейроны рассматривались как чувствительные элеме нты, которые вырабатывают и посылают сигнал в сеть под воздействием какого-либо внешне гостимула (электрического сигнала, света , звука и т. д.) . Ассоциативные нейроны определялись как логические элементы, которые выдают выходной сигнал, если алгебраическая сумма входных сигналов превышает некоторую пороговую величину. Реагирующие нейроны представляли собой элементы, получающие входной сигнал от сенсорных нейронов и формирующие управляющее воздействие во внешнем окружении. Ровенблаттом было построено также действующее устройство - однослойный перселтрон - которое классифицировало поступающие сигналы в один из двух классов.

Подход Роэенблатта использовался в начале 60-х гг. для объяснения различных психологических и физиологических яв лений. Но, в целом, интерес к ним вскоре существенно уменьшился из-за практической невостребованности в те годы нейросетевых идей. К тому же работа Розенблатта была подвергнута в 1969 г. критике Марвином Минским - основателем научного подхода к искусственному интеллекту, в книге -Персептроны», написанной им совместно с Сеймуром Пейпертом (5. Papert). И только почти двадцать лет спустя в 1982 г. американский физик Хопфилд (J. J. Hopfield) снова пробудил интерес к нейровным сетям, разработав названную его имен ем нейросетевую модель.

Нейровная с еть Хопфилда представляет собой двумерный массив формальных нейронов, попарно связанных друг с другом (рис . 9.3). Каждый нейрон рассматривается как элемент с двумя возможными состояниями, которым отвечает бинарная nеременная 8.

 Одно из состояний отвечает < возбужденному нейрону (8 = 1), второе - состоянию -покоя э (8 = О) . В общем случае нейрон характеризуется функцией /(8) , определяющей его динамику.

Состояние сети N нейронов в момент времени t определяется как конфигурация всех переменных Si в этот момент времени. Эволюция этого

состояния в фазовом пространстве определяется взаимодействием нейронов.

Нейроны связаны друг с другом синаптическими связями. Сила связи между

i-Mи j -Mнейронами характеризуется величиной T ij . Эта матрица

называется

матрицей весов (иногда ее называют матрицей долговременной памяти . Состояние нейронов в начальный момент времени называют заданием образа.

Образ, заданный в сети, преобразуется ею в соответствии с определенным

правилом. Но среди правил, определяющих эволюцию различных моделей

сетей, одно свойство остается общим: изменение состояния нейрона опреде ляется суммарным возбуждением, приходящим к нейрону от всех остальных

в соответствии с синаптическими весами .

В сети Хопфилда все нейроны попарно связаны. Матрица памяти Т

симметрична (11; = Tji) и имеет нулевые диагональные элементы.

 Функция f(5) - бинарна .

Нелинейное преобразование исходного образа А = {51• . . . , SN} происходит

по правилу

Последовательное повторение этого преобразования при водит к последовательному изменению исходного образа.

Это преобразование можно выполнять различным образом. Можно выбрать

случайно один нейрон, пересчитать его состояние, затем случайным

образом выбрать второй нейрон и произвести ту же операцию и т. д . Такой

процесс преобразования сети называют асинхронным. Если же преобразование сети выполняется «тактами» одновременно для всех нейронов, то процесс называется синхронным.

Динамическая эволюция модели Хопфилда, для которой 11; = Tj ; и 11; =о

и преобразование образа принято синхронным, соответствует уменьшению

функции, которую принято называть «энер г и я» :

 

Локальному минимуму этой функции отвечает стационарное состояние сети .

А последовательное преобразование исходного образа - движение по фазовой

поверхности к точке (точнее к одной из точек) локального минимума.

отвечающего решению заданной задачи (рис . 9.3).

Особенности и вычислительные и информационно-логические возможно сти

модели Хопфилда детально изучались в 80-е гг. прошлого века. Более

того, эта модель инициировала разработку широкого круга вариантов

как однослойных , так и многослойных нейровных сетей . Но, по-видимому,

наиболее важным следствием быстрого развития теории нейровных сетей

были начавшиеся инженерные разработки коммерческих устройств обработки информации - нейрономпьютеров .

Попробуем понять, что же лежало в основе этого, какие преимущества

нейровных сетей казались перспективными разработчиками нейрокомпьютеров.

В основе нейросетевого подхода лежат биологические принцилы обработки

информации и , прежде всего, общие принципы функционирования коры

головного мозга. Поэтому можно было ожидать, что устройства, имитиру-

ющие биологические нейроны, будут воспроизводить, хотя бы частично, их

особенности .

Грандиозный период биологической эволюции выработал в мозге человека

качества, недоступные современным цифровым компьютерам с архитектурой

фон Нейнана. К ним относятся:

- распределенное  представление информации и параллелизм  вычислений,

- способность к  обучению и обобщениям,

- адаптивность ,

- толерантность к ошибкам и погрешностям в структуре ,

- низкое энергопотребление.

Приборы, построенные на биологических принцилах обработки информации,

должны обладать этими возможностями, что будет иметь огромное

значение для индустрии обработки информации .

Не пытаясь изложить в деталях историю создания нейрокомпьютеров ,

остановимся только на основных факторах, характеризующих это важное

и быстро развивающееся направление.

Сегодня активно развиваются три линии разработки нейрокомпютеров,

Прежде всего, это эмуляторы, т. е. системы на основе цифровых фоннеймановских компьютеров, реализующие типовые нейросетевые операции на программном уровне .

Нейросетевые системы, реализованные на базе универсальных цифровых

компьютеров в виде плат расширения, называют нейроускорителями. Они

могут быть как «виртуальные» (вставляемые в слот расширения стандартного компьютера), так и «внешние», соединяюшиеся с управляющим компьютером по конкретному интерфейсу или шине.

И, наконец, нейрокомпьютеры, построенные из специализированных нейрочипов, в которых все операции выполняются в нейроселевом логическом базисе.

Не останавливаясь на нейроэмуляторах и нейроускорителях, упомянем

вкратце только основные принцилы построения и функциональные характеристики нейрокомпьютеров .

Для описания алгоритмов и конструирования устройств в нейроинформатике

выработана специальная схеметехника. в которой элементарные устройства

объединяются в сети, предназначенные для решения конкретных задач.

В качестве основных элементарных устройств используются (рис. 9.4):

- адаптивный сумматор, который вычисляет скалярное  про изведение вектора

входного сигнала x (т. е. информацию , поступающую со всех нейронов)

на вектор параметров,

- нелинейный преобразователь сигнала , который получает скалярный

сигнал x и преобразует его в заданную функцию fх),

- точка ветвления, которая служит для рассылки поступающего сигнала

по нескольким адресам,

- стандартный формальный  нейрон, являющийся комбинацией  входного

сумматора, нелинейного преобразователя и точки ветвления на выходе .

На основе этих элементов производятся нейрочипы, из которых можно

набрать необходимую нейронную сеть.

В настоящее время промы шленность разных стран выпускает десятки ци фровых, аналоговых и гибридных нейрочипов. Среди них нейрочипы

с жесткой структурой нейроиов (аппаратно реализованной) и нейрочипы

с настраиваемой структурой (перепрограммируемые) . В основном на чипах

формируется 32-256 нейронов при разрядности переменных 16-8 бит. Они

изготавливаются по кремниевой планарной полупроводниковой технологии.

В качестве примера приведем нейрочипы с перестраиваемыми весовым и

коэффициентами, разработанные компанией. Bell Laboratories. в 1987 г.

Для обеспечения возможности перестройки весовых коэффициентов нейронн ой сети была разработана схема, при изготовлении которой была применена комбинированная технология. С ее помощью на одном кристалле

были размещены и нейронная сеть, и память для уп равления перестройкой

весовых коэффициентов нейронной сети. В схеме использованы цифровые

входные и выходные сигналы. Для вычисления выходного сигнала нейронной сети применялись аналоговые схемы перемножения и суммирования. Для управления работой схемы использовались цифровые сигналы .

Эта СБИС была изготовлена с помощью 2,5 мкм КМОП-технологии и содержала примерно 75000 транзисторов. На кристалле размером 6,7 х 7 мм

размещены 54 операционных усилителя, выполняющих функции нейронов, и

5 кбайт статической памяти для программирования кристалла для изменения

весовых коэффициентов. Схема позволяла реализовать нейронную сеть с

полными связями. Матрица коэффициентов связей 54 х 54 занимала примерно 90% площади кристалла и позволяла соединить выход любого нейрона с входом любого другого нейрона.

 

Обработка информации в биологических нейровных сетях и полупроводниковыми цифровым и компьютерами.

 

Интенсивное возрождение нейросетевых представлений и разработка нейрокомпьютеров сделались реальностью последних лет. Тем не менее, несмотря  на то, что нейросетевая парадигма уходит своими корнями в 40-е гг. прошлого столетия, пути ее оптимальной практической реализации, т. е. проблема «железа» (материального воплощения нейроселевых представлений), оставалась на протяжении многих лет практически вне рассмотрения. И поэтому создание нейрокомпьютеров пошло по наиболее «укатанному» пути – использованию полупроводниковой схемотехники и планарией технологии, прекрасно зарекомендовавших себя в разнообразных микроэлектронных устройствах.

Нужно признать, что до сих пор, в сущности, нет альтернативы полупроводниковой схемотехнике и технологии, которая используется для имитации нейрона и нейронных сетей. Это легко объяснимо, поскольку, в силу фантастических преимуществ планарной технологии, она . вытеснила практически все предлагавшився ранее технологические воплощения вычислительных устройств. Более того, дискретная схемотехника создавалась для реализации фон-неймановской архитектуры. В этом смысле фон-неймановская архитектура оптимальна, и, что не менее важно, она далеко не исчерпала своих возможностей .

Ситуация принципиально меняется, когда речь идет о разработке нейро сетевых информационно-логических средств.

Основные принципы нейросетевой парадигмы фундаментально отличны от

принципов парадигмы фон Неймана. В основе парадигмы фон Неймана лежит понятие неизменной по своей структуре программы. Изменение в программе хотя бы одного оператора приводит к распаду программы. которая становится неспособной выполнять свои функции.