Информативные разнотипные признаки с максимально выраженной независимостью в задачах классификации

Информативные разнотипные признаки с максимально выраженной независимостью в задачах классификации

Abstract

The minimal set of informative attributes with  maximally expressed independence is used for an explanation of decision-making  process of artificial neural networks.

Объяснение процесса принятия решения нейронной сетью (НС) является одной из мало исследованных областей в искусственном интеллекте. Решение проблемы видится в разработке новых алгоритмов по добыче знаний из баз данных (БД) и вербализации этих знаний применительно к конкретным предметным областям.

Мера сложности является одним из инструментов для объяснения процесса интуитивного принятия решения. Действительно, чем меньше сложность решающих функций НС, тем меньше расход ресурсов для принятия одного и того же решения. В данной работе сложность искусственных нейронных сетей с минимальной конфигурацией определяется удалением малоинформативных разнотипных признаков с максимально выраженной независимостью.

Рассматривается задача распознавания в стандартной постановке. Считается, что задано множество объектов , содержащее представителей непересекающихся  классов . Описание объектов производится с помощью разнотипных признаков, возможны пропуски в данных.

Для определения набора информативных разнотипных признаков с максимально выраженной независимостью на множестве пар объектов определим функции [1]

и

Меру близости между классами по  паре номинальных признаков определим как

                                                                      (1)

Из матрицы выбирается элемент с максимальным значением
. Строка с номером и столбец с номером удаляется из дальнейшего рассмотрения.  

Учёт локальных свойств обучающей выборки при синтезе НС через решение задачи о локально-оптимальном покрытии на основании оценки сложности кусочно-линейных решающих функций позволяет утверждать, что значение характеризует сложность решающей функции при числе объектов m, признаков и классов . Одним из практических способов получить оценку значения является выбор различных схем подачи объектов-кандидатов на удаление процедурой «последовательное исключение» при построении множеств объектов локально-оптимальных покрытий в [2], обеспечивающих корректное разделение объектов классов обучающей выборки.

В вычислительном эксперименте использовались медицинские данные о гипертонической болезни, представленные 177 объектами, разделенными на два класса. Первый класс представляют  контрольная группа (число объектов 111), второй класс больные гипертонией (число объектов 66).

Упорядоченный набор информативных признаков  определялся с помощью формулы  (1). По результатам расчётов наиболее информативными признаками являются «14) Среднее артериальное давление» и «4) Систолическое артериальное давление». С помощью количества объектов-эталонов локально-оптимального покрытия выборки [2], получаемое последовательным удалением малоинформативных признаков  с максимально выраженной независимостью определялось сложность НС. Результаты расчётов подтверждают, что при удалении  малоинформативных признаков  сложность НС уменьшается.

Литература

1.   Игнатьев Н.А., Ешмуратов Ш.А. Множественная логическая корреляция   в задачах дискриминантного анализа // Современные методы математического моделирования природных и антропогенных. катастроф: Тез. IX  Всерос. конф. - Барнаул, 2007. - С.  41.

2.   Игнатьев Н.А. К вопросу построения эффективных нейронных сетей для данных, описываемых разнотипными признаками. //Вычислительные технологии. – Новосибирск, 2001. - № 5. C. 34 -38.