Дискриминантный анализ

 

                                                              Содержание

 Введение………………………………………………………..2

1.Назначение дискриминантного  анализа…………………..3

2. Математико-статистические  идеи метода…………………7

3.Основные результаты  дискриминантного анализа…………13  

 Заключение……………………………………………………….14   

 Список литературы………………………………………………16  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Дискриминантный  анализ - это раздел математической статистики, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам. Например, разбиение совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйственной деятельности.

Методы дискриминантного анализа находят применение в  различных областях: медицине, социологии, психологии, экономике и т.д. При  наблюдении больших статистических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статистического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками.

Дискриминантный анализ оказывается очень удобным и при обработке результатов тестирования отдельных лиц. Например, при выборе кандидатов на определенную должность можно всех опрашиваемых претендентов разделить на две группы: «подходит» и «не подходит».

Можно привести еще один пример применения дискриминантного анализа в экономике. Для оценки финансового состояния своих клиентов при выдаче им кредита банк классифицирует их на надежных и не надежных по ряду признаков. Таким образом, в тех случаях, когда возникает необходимость отнесения того или иного объекта к одному из реально существующих или выделенных определенным способом классов, можно воспользоваться дискриминантным анализом. 

 

 

 

1. Назначение дискриминантного  анализа 

 

Дискриминантный анализ представляет собой альтернативу множественного  регрессивного анализа для случая, когда зависимая переменная представляет собой не количественную (номинативную) переменную. При этом дискриминантный анализ решает те же задачи,  что и множественный регрессивный анализ (МРА): предсказание значений «зависимой» переменной, в данном случае – категорий номинативного признака; определение того, какие «независимые» переменные лучше всего подходят для такого предсказания. Структуры исходных данных для дискриминантного и множественного регрессионного анализа практически идентичны: 

 

№	X1	X2	…	XP	Y
1	x11	x12	…	x1P	y1
2	x21	x22	…	x2P	y2
…	…	…	…	…	…
N	xN1	xN2	…	xNP	yN

 
 

 

Строки этой таблицы  соответствуют объектам (испытуемым), а столбцы – переменным. Переменные Х1, …, Хр представлены в количественной шкале. Различие исходных данных для дискриминантного и множественного регрессивного методов заключается лишь в том, что представляет собой «зависимая» переменная Y: для МРА она является количественной, а для дискриминантного анализа – номинативной (классифицирующей) переменной.

В то же время дискриминантный анализ можно определить и как метод классификации, так как «зависимая» переменная – номинативная, то есть она классифицирует испытуемых на группы, соответствующие разным ее градациям. В этом смысле исходными данными для дискриминантного анализа является группа  N объектов (испытуемых), разделенная на G  классов так, что каждый объект отнесен к одному и только одному классу (градации номинативной переменной). Допускается при этом, что некоторые объекты не отнесены к какому-либо из этих классов (являются «неизвестными»). Для каждого из объектов имеются данные по Р количественным признакам, одним и тем же для этих объектов. Эти количественные признаки называются дискриминантными переменными. Задачами дискриминантного анализа являются: определение решающих правил, позволяющих по значениям дискриминантных переменных отнести каждый объект (в том числе и «неизвестный») к одному из известных классов; определение «веса» каждой дискриминантной переменной для разделения объектов на классы.

В качестве объектов могут  выступать студенты, сгруппированные  по успешности обучения, а в качестве дискриминантных переменных – результаты их вступительных испытаний, социально-демографические  характеристики и пр. При помощи дискриминантного анализа мы можем выделить переменные, наиболее важные для предсказания успешности обучения. Кроме того, по этим показателям мы можем предсказать успешность обучения абитуриентов.

Испытуемыми могут быть клиенты психотерапевта, сгруппированные  по эффекту оказанной помощи. Переменными – симптомы, различные социальные и психологическое показатели, а так же характеристики вводов помощи (длительность и характер терапии и пр.) При помощи дискриминантного анализа исследователь может определить переменные, наиболее существенные для эффекта психотерапии, а также предсказать результативность терапии для данного клиента при использовании данного вида помощи.

Таким образом, дискриминантный  анализ позволяет решить две группы проблем:

1. Интерпретировать различия между классами, то есть ответить на вопросы: насколько хорошо можно отличить один класс от другого, используя данный набор переменных; какие из этих переменных наиболее существенны для различения классов. Сходную задачу решает дисперсионный анализ.
2. Квалифицировать объекты, то есть отнести каждый объект к одному из классов, исходя только из значений дискриминантных переменных. Задача классификации связана с получением по данным об «известных» объектах дискриминантных функций «решающих правил», позволяющих по значениям дискриминантных переменных отнести с известной вероятностью каждый объект к одному из классов.

В решении задачи классификации  дискриминантный анализ является не заменимым другими методами. Часто  дискриминантный анализ называют еще  «классификацией с обучением» или «распознаваем образов». В первом случае предполагают, что мы «учимся» классифицировать «неизвестные» объекты по дискриминантным переменным, используя данные об «известных» объектах. Во втором случае по «образом» объекта подразумевается совокупность измеренных для него значений дискриминантных переменных. И дискриминантный анализ позволяет в этом смысле распознать образ «нового» объекта путем отнесения его к известному классу объектов.

Дискриминантный анализ имеет общие черты с многомерным  дисперсионным анализом (MANOVA). По сути, дискриминантные переменные можно рассматривать как многомерную зависимую переменную, а классифицирующую переменную - как фактор. Этот подход применяется для определения достоверности различения классов по совокупности всех переменных ( по λ – Вилкса) и по каждой из дискриминантных переменных в отдельности (по критерию F – Фишера) – как в дисперсионном, так и дискриминантном анализе.

Сравнивая дискриминантный  и множественный регрессионный  анализ, можно отметить их сходство в отношении решаемой задачи – предсказания. Однако дискриминантный анализ, являясь более сложным методом, имеет свои преимущества. В качестве «зависимой» переменной в дискриминантном анализе выступает классификация, что делает метод  более универсальным: любое измерение можно свести к шкале наименований и избежать требования нормальности распределения «зависимой» переменной. Прогностическая эффективность дискриминантного анализа обычно выше, чем МРА, а, как правило, несколько.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.Математико-статистические  идеи метода 

 

Классы, на которые разбито  множество объектов, можно представить  как значения некоторой классифицирующей («зависимой») переменной, измеренной в шкале наименований. Дискриминантные переменные представлены в числовой шкале. Основная задача дискриминантного анализа заключается в том, чтобы по значениям дискриминантных переменных для объектов получить значения классифицирующей переменной, то есть определить классы, в которые попадают эти объекты.

Дискриминантные переменные, количество которых равно Р, можно представить себе как ортогональные оси р-мерного евклидова пространства. Тогда каждый объект будет являться точкой в этом пространстве, положение которой задано значениями дискриминантных переменных для этого объекта как его координатами. Так, если переменных две, то объект может быть изображен на плоскости в месте пересечения координат, соответствующих значениям этих двух переменных для данного объекта. Если переменных три, то объект представляет собой точку в трехмерном пространстве, и т. д.

Множество объектов в пространстве Р признаков можно представить как скопление точек. Чем более объекты похожи друг на друга по данным признакам, тем плотнее будет скопление точек. Если несколько классов объектов отличаются друг от друга по дискриминантным переменным, то их можно представить как. соответствующие классам скопления точек в некоторых областях Р-мерного пространства признаков. Чем больше объекты внутри каждого класса похожи друг на друга и отличаются от объектов из другого класса, тем меньше пересечений соответствующих классам «территорий»,

Для каждого класса в пространстве признаков можно определить положение центроида — точки, координаты которой есть средние значения дискриминантных переменных для данного класса. Центроид — это место типичных наблюдений для данного класса, его можно использовать как для описания различий между классами, так и для определения принадлежности «неизвестных» объектов к одному из классов.

Из геометрической интерпретации  задачи дискриминантного анализа следует правило классификации объектов: объект приписывается к тому классу, к центроиду которого он ближе всего. Соответственно, сама задача классификации объектов сводится к определению расстояний от каждого объекта до центроидов каждого класса по известным значениям дискриминантных переменных.

В современных компьютерных программах задача классификации решается с помощью канонических дискриминантных функций. Канонические функции — это ортогональные оси, в максимальной степени различающие центроиды классов. Началом координат для канонических функций является «главный центроид» — точка, координаты которой есть средние значения всех дискриминантных переменных. Первая каноническая ось ориентирована в направлении, в котором центроиды классов различаются в максимальной степени. Если классов больше двух, то вторая ось ориентирована перпендикулярно первой в направлении максимального различия классов и т. д. Максимальное число таких функций равно числу классов за вычетом единицы. Так, для различения двух центроидов (классов) достаточно одной оси, для различения трех классов — двух канонических функций, и т.д. Таким образом, канонические функции позволяют преобразовать Р-мерное пространство исходных признаков в Q-мерное пространство дискриминантных функций (Q = G - 1, где G — число классов).

Канонические функции  и дискриминантные переменные связывают стандартизированные канонические коэффициенты, которые позволяют оценить относительный вклад переменных в каждую каноническую функцию. В отличие от них, структурные коэффициенты канонических функций — это корреляции канонических функций и дискриминантных переменных. Как и факторные нагрузки в факторном анализе, структурные коэффициенты отражают связь дискриминантных переменных с каноническими функциями. Структурные коэффициенты канонических функций показывают вклад каждой дискриминантной переменной в различительную способность соответствующей функции. Таким образом, каждая каноническая функция может быть интерпретирована через переменные, вносящие в нее наибольший по абсолютной величине вклад — подобно интерпретации факторов по факторным нагрузкам в факторном анализе.

Анализ канонических функций сопровождается получением важных статистических показателей качества классификации. Основными из них являются: собственное значение канонической функции, λ-Вилкса и χ2-тест.

Собственное значение канонической функции, как и в факторном анализе, есть показатель информативности функции. Сумма всех собственных значений равна числу классов. Соответственно, собственное значение для данной канонической функции, деленное на количество классов, есть показатель ее информативности — доли суммарной дисперсии всех объектов по всем переменным, которая исчерпывается этой канонической функцией.