Модели нейронных сетей (neural network models)

Модели нейронных  сетей (neural network models)

Модели, включающие сети нейроноподобных элементов, приобрели известность в психологии и родственных дисциплинах, когнитивной науке и нейробихевиоральной науке. Такие модели появились тж под предметными заголовками коннекционистских моделей и распределенной параллельной обработки. В области познавательных процессов сети использовались для объяснения таких различных феноменов, как распознавание слов, категоризация, восприятие зрительного паттерна, координированное моторное действие, и неврологические расстройства. В этом отношении, М. н. с. представляют собой резкий отход от прежних теорий, к-рые предполагали манипуляции символической информ. по типу грамматических. Неграмматические и несимволические свойства нейронных сетей тж обусловили их пригодность для объяснения отличных от человеческого видов научения и его нейронных основ.

Нейронные сети предназначены  для порождения системы вычислений, к-рая является кооперативной и самоорганизующейся. Т. о. нейронная сеть не содержит в себе к.-л. эксплицитной исполнительной или контролирующей подсистемы. Предполагается, что поведение, к-рое внешне следует правилу, гипотезе или стратегии, возникает из взаимодействий между элементами, ни один из к-рых не содержит правила, гипотезы или стратегии. Несмотря на то что сетевые модели опираются на представление о нейроне, осн. масса этих моделей лишь незначительно ограничивает себя рамками общеизвестной архитектуры и функционирования реальных НС. В очищенном от своих дополнительных значений виде, нейронные сети являют собой единственный тип количественной модели, подпадающей под традиционные критерии проверки любой модели в психологии. Потребовалось широкое использование компьютерного моделирования, чтобы эти модели достигли полного и точного определения через их собственные внутренние операции и механизмы порождения выходных сигналов, позволяющего осуществлять четкие поведенческие прогнозы.

Основные характеристики

Элементы типичной нейронной  сети можно описать при помощи двух уравнений, а именно правила  активации (или возбуждения) и правила  обучения. Правило активации объединяет (суммирует) входы в элемент и  формирует уровень выходного  сигнала. Вычисления сети связаны с  передачей выходных активирующих сигналов заданного уровня от одного элемента на входы др. элементов. Правило обучения изменяет силу активных входов посредством  переменных, наз. весами связи. Входной  уровень для принимающего элемента обычно определяется произведением  воспринимаемого уровня активации  и текущего веса связи в принимающем  элементе.

Линейный пороговый элемент 

Начало совр. правилам активации было положено в работе Мак-Каллока и Питтса, касающейся способности нейронов действовать как логические вентили. На рис. 1 изображен линейный пороговый элемент. В его левой части представлены входные переменные, описываемые как входные уровни активации (Xi) и взвешенные связи (Vi). Каждая переменная может принимать любое вещественное значение. Однако уровни активации обычно задаются двоичными значениями (Xi = 0,1), а веса — значениями в пределах от -1 до +1. Суммарный входной уровень в любой момент времени определяется суммой весов активных входов (Σ [Vi Xi]). Подобно входным уровням активации, выходной сигнал элемента тж представлен двоичными значениями (Y = 0,1). Активация выхода определяется на основе сравнения суммарного входного уровня с пороговой величиной (Θ) по следующей формуле:

Y = 1, если Σ (Vi Xi) > Θ, в противном случае Y = 0.

Манипулируя весами связи  или пороговыми величинами, можно  синтезировать общие логические функции. Напр. логический элемент И может быть сконструирован следующим образом. Предположим, что некий элемент имеет два входа (X1, Х2), каждый с весом связи 0,50 (V1 = V2 = 0,50), и что пороговая величина этого элемента Θ = 0,75. Согласно правилу активации Мак-Каллока — Питтса, для того чтобы суммарный входной уровень превысил данную величину порога и тем самым инициировал выход (Y), должны быть активными оба входа (X1 = Х2 = 1). Тот же самый элемент может быть преобразован в логический элемент ИЛИ снижением порога до величины менее 0,50 или повышением веса входов до величины более 0,75. Наконец, для полноты логической системы, можно сконструировать оператор НЕ путем инвертирования правила активации, так что когда суммарный входной уровень превышает величину порога, элемент, который бы в противном случае инициировался (Y = 1), будет выключаться (Y = 0). Это инвертированное правило активации может быть записано как:

Y = 1, если не Σ (Vi Xi) > Θ, тогда Y = 0.

Синаптическая фасилитация

Истоки правил обучения для  сетей кроются в идее, сформулированной впервые в общих чертах Хеббом. Коротко говоря, он применил старый закон смежности к уровню нейронной активности и утверждал, что синаптическая передача будет получать выигрыш в эффективности всякий раз, когда пресинаптическая активность оказывается смежной по времени с постсинаптической активностью. На рис. 2 приведен пример хеббовского элемента. Этот хеббовский элемент имеет две входные связи. Один вход (Xi), наз. здесь «сигнальным» входом («cue» input), не обладает изначально весом связи и, следовательно, не способен активизировать элемент. Др. вход (Х0), обычно наз. «обучающим» входом («teacher» input), имеет фиксированный большой вес (V0 = 1), позволяющий активизировать элемент и вызвать «ответный» выход («response» output). При совмещении во времени обоих входов, сигнальный вход будет обеспечивать пресинаптическую активность (Xi), а обучающий вход будет вызывать постсинаптическую активность (Y). В мат. терминах, изменение веса связи (ΔVi) выражается в виде произведения двух уровней активности. Это правило обучения может быть записано как ΔVi = сХiY, где с — коэффициент пропорциональности (0 < с < 1).

Хеббовский адаптивный элемент, в котором Xi — уровень сигнального входа, Vi — адаптивный вес связи, Х0 — уровень обучающего входа, a Y — уровень выходной реакции

Если по хеббовскому правилу научение находится в строгой зависимости от смежности уровней активации, согласно др. правилам научение зависит от ошибки в способности веса сигнального входа соответствовать обучающему входу. Одно из наиболее часто используемых правил этого рода известно под разными наименованиями: правило допустимой ошибки (дельта), правило Ресколы — Вагнера (the Rescorla — Wagner rule), правило Видроу — Хоффа (the Widrow — Hoff rule) и правило наименьших средних квадратов (least-mean squares rule). При наличии множества одновременных сигнальных входов это правило может быть записано как ΔVi = с (V0X0 — Σ [Vi Xi]) Xi. Анализ этого правила показывает, что когда суммарный вход (Σ [Vi Xi]) существенно отличается от активации, вызываемой обучающим входом (V0 X0), это приводит к резкому изменению веса связи каждого подходящего входа (ΔVi). И наоборот, когда это различие мало, изменение также будет малым.

Правило исправления ошибок (error-correction rule) оказывается более сложным, чем хеббовское правило смежности, однако имеет 3 осн. преимущества при моделировании ассоциативного обучения.

1. Самоограничивающиеся приращения. Тогда как правило смежности порождает веса связи, к-рые растут линейно, правило исправления ошибок является самоограничивающимся. Эта его особенность производит отрицательное ускорение, к-рое можно наблюдать в большинстве кривых научения.

2. Обратимость. Правило  смежности продуцирует только  положительные приращения в научении, тогда как правило исправления ошибок порождает не только положительные, но и отрицательные приращения (или затухание). В частности, в правиле смежности, отсутствие обучающего входа (Х0) исключает любые приращения, но при этом не влечет эффекта затухания. В свою очередь, в правиле исправления ошибок, отсутствие обучающего входа означает, что вычитаемый член уравнения принимает отрицательные значения (-Σ [Vi Xi]), тем самым производя понижение веса связи (Vi). Т. о., правило исправления ошибок может отслеживать изменения прогнозируемого значения «сигнального» входа для определенного «обучающего» входа.

3. Избирательность. Когда  имеется множество сигналов, хеббовское правило смежности применяется независимо к каждому входу. В отличие от него, правило исправления ошибок предполагает, что изменение ассоциативной силы для каждого входа зависит от результирующей ошибки по всем активным входам. Напр., если определенный набор сигнальных входов уже приобрел высокие веса, то тогда разность членов (V0X0 — Σ [Vi Xi]) будет приближаться к нулю и тем самым препятствовать приобретению веса дополнительными, одновременно действующими сигналами. Т. о., избыточные сигналы будут эффективно подавляться. Кроме того, если ни одни из сигнальных входов не обладает предварительным преимуществом, общий вес связи будет распространяться на все одновременно действующие сигнальные входы. В результате, элемент может «настраиваться» так, что он будет активизироваться только определенной конфигурацией входов, а не к.-л. одним из этих входов.

Основные архитектуры 

Несмотря на то что материалом для строительных блоков нейронных сетей являются отдельные элементы, мн. из эмерджентных свойств сети определяются архитектурой их взаимосвязей. Существуют 2 осн. архитектуры, встречающиеся в большинстве моделей, а именно, сети, содержащие множество слоев элементов, и сети, в к-рых выходы возвращаются в качестве входов в сеть.

Многослойные сети

Пример простой многослойной сети приведен на рис. 3. Эта сеть имеет два входа (A, В), каждый из которых проецируется на два элемента (X, R). Элемент X, находящийся между событиями на входе и выходным элементом наз. скрытым элементом. Эта небольшая сеть содержит пять модифицируемых связей, а именно A-Х, A-R, В-Х, B-R и X-R.

Рис.3 Конфигурация многослойной сети, подчиняющейся правилу исключающего ИЛИ

Многослойные сети сыграли  решающую роль в разрешении вопросов репрезентации стимула и формирования понятий, вызывавших трудности у  традиционных психол. теорий и однослойных  сетевых моделей. В частности, многослойные сети обеспечивают базис для обучения произвольному отображению (arbitrary mapping) входных паттернов стимулов в выходные паттерны реакций. Ключевая проблема оказалась связанной с нелинейными отображениями. При таком отображении, желаемая реакция на определенное сочетание входов не является аддитивной функцией реакций на отдельные входы. Примером простейшего нелинейного отображения является правило исключающего ИЛИ. Правило исключающего ИЛИ требует реакции на каждый из двух входов, предъявляемых по отдельности, но не на их совместное появление. Напр., мн. люди обнаруживают следование правилу исключающего ИЛИ в своих вкусовых предпочтениях. Человек может с удовольствием есть лакрицу, но отказываться есть картофель с лакричной приправой. Если бы отдельные отображения стимул — реакция являлись строго аддитивными, картофель с лакричной приправой съедался бы с большим удовольствием.

Вообще говоря, можно преобразовать нелинейную задачу в линейную, постулируя, особый вход для совместного появления основных стимульных входов. Однако когда число основных входов увеличивается, эта тактика приводит к бурному росту числа особых входов. Более общее решение заключается во введении механизма обучения, который формирует специализированные кодировки совместных входов по мере возникновения такой необходимости. Многослойные сети обладают этой способностью. Коротко говоря, установление подходящих весов связей от стимульных входов к скрытым элементам создает блоки, специализированные для конкретной комбинации входов. Связи между скрытыми элементами и выходными элементами обеспечивают отображение этих специализированных блоков в соотв. выходные реакции.

Небольшая сеть, показанная на рис. 3, имеет конфигурацию, позволяющую  проиллюстрировать поведение согласно правилу исключающего ИЛИ. В этой конфигурации вход A сам по себе не может активизировать элемент X, т. к. вес связи А — X не превышает величины порога X, однако вход A может активизировать элемент R, т. к. его порог оказывается достаточно низким для того чтобы связь A — R оказалась эффективной. Точно так же, вход В может активизировать лишь узел R. Т. о., входы A и В могут каждый по отдельности активизировать выход этой сети. Однако, согласно правилу исключающего ИЛИ, взятые вместе входы А и В будут подавлять выход. Это происходит потому, что суммарный вес связей входов А и В будет активизировать элемент X, а этот элемент X имеет большую отрицательную связь с элементом R. Следовательно, совместное появление входов А и В аннулирует их индивидуальные положительные связи с элементом R.

Автоассоциативные сети

Автоассоциативная сеть, в которой все выходные уровни могут связываться со входными уровнями

Каждый из пяти элементов (А, В, С, D, Е) получает один внешний вход (a, b, с, d, e). Эти внешние входы обладают фиксированными связями, каждая из которых способна активизировать выход из соотв. элементов. Кроме того, каждый элемент получает пять возвратных входов, по одному на каждый выход из элементов, включая,  его собственный. Например, как показано на рис. 4, элемент С имеет пять связей, обозначенных как Aс, Bc, Сс, Dc и Еc. Эти связи являются модифицируемыми и функционируют в соответствии с теми же самыми правилами обучения, что и единственный элемент или многослойная сеть. Т. о., всякий раз, когда выход и вход являются активными, на их пересечении может возникать эффективная связь.

Помимо др. вещей, автоассоциативные сети могут реализовывать 3 функции, которые представляют особый интерес для психологии.

1. Завершение паттерна. Если  множество взаимосвязей было  хорошо определено в автоассоциативной сети, тогда уже часть исходных входов может восстановить полное множество выходов. Напр., предположим, что для сети, изображенной на рис. 4, неоднократно предъявлялись входы а и е. Отсюда следует, что установились бы четыре взаимосвязи, а именно Аа, Ае, Еа и Ее, которые локализованы в четырех углах матрицы пересечений. Впоследствии вход а сам по себе активизировал бы оба выхода, А и Е, через связи Аа и Ае. Точно так же, вход е активизировал бы оба выхода через связи Еа и Ее.

2.   Помехоустойчивость.

3. Суперпозиционная память. Автоассоциативные сети могут хранить огромное количество наборов входов. Это свойство позволяет им извлекать как прототипические паттерны, так и специфические образцы. Напр., Мак-Клелланд и Румельхарт продемонстрировали, что сеть, состоящая из 24 элементов и 552 потенциальных взаимосвязей, могла бы хранить и надежно извлекать 3 различных прототипических паттерна, каждый из к-рых осн. на 50 различных образцах. Они показали, что паттерн для по меньшей мере одного конкретного образца тж может быть извлечен, если этой сети представлено подмножество входов, корреспондирующих с именным признаком (пате tag) этого образца. Сходным образом, Кохонен показал, что сеть, состоящая из 3024 элементов, могла бы хранить и извлекать цифровые фотографии 100 различных лиц.