Методы экспертных оценок

Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений.

Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

. Обработка результатов  опроса экспертов

экспертный коллективный индивидуальный опрос

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

·формирование обобщенной оценки;

·определение относительных весов объектов;

·установление степени согласованности мнений экспертов и др.

Далее рассмотрим некоторые методы решения каждой из перечисленных задач.

1)Формирование обобщенной  оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда xj - оценка j-го эксперта, , где m - число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (ME), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

2)Определение относительных  весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть xij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:

где wij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

3)Установление степени  согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.

Вариационный размах (R):

= xmax - xmin

где xmax - максимальная оценка объекта;min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

где xj - оценка, данная j-ым экспертом;- количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

где xij - ранг, присвоенный i-му объекту j-ым экспертом;ik - ранг, присвоенный i-му объекту k-ым экспертом;i - разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.4 Обработка результатов опроса экспертов

 

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Имея в виду, априорную обоснованность методик и инструментария обработки на предшествующих шагах экспертизы, в практике экспертного оценивания принято различать три основных этапа обработки результатов опроса экспертов:

1)предварительный анализ индивидуальных оценок экспертов;

2)обоснование и вычисление групповой экспертной оценки;

3)определение качества групповой экспертной оценки.

Следует отметить, что этапы 2-й и 3-й в зависимости от конкретно выбранных методов обработки данных могут меняться местами либо даже сочетаться в рамках одной процедуры. Однако следует заметить, что методически верно проводить групповые обобщения только на высоко согласованных группах экспертов. Таким образом, если это вообще осуществимо, то оценка качества экспертизы должна предшествовать ее заключению. На практике, как правило, этапы второй и третий вычислительно совмещаются.

Перечисленные три блока работ полностью исчерпывают перечень действий по выработке решения на основе группового выбора. Если же будущее решение в дальнейшем предполагается строить, исходя из индивидуальной оценки единственного эксперта, то вся процедура сводится только лишь к реализации аналитиками администрации экспертизы первого этапа из выше указанной последовательности шагов.

Остановимся подробнее на содержании и проблематике каждого из этапов и возможных способах реализации соответствующих им задач.

Предварительный анализ индивидуальных оценок экспертов

Исходный предварительный анализ индивидуальных оценок экспертов, полученных в результате проведения экспертизы, нацелен на выявление возможного несоответствия между полученными измерениями и априорными требованиями к ним с целью их последующей коррекции. Чаще всего это проявляется через обнаружение противоречий в суждениях экспертов.

Так при оценивании альтернатив в номинальной шкале для каждого участника экспертизы следует проверить условие корректности осуществление процедуры классификации, которое по понятным причинам сводится к выполнению следующего равенства , где

i – индекс альтернативы сравнения, ;

j – индекс эксперта, ;

k – индекс обобщающего класса, ;

- результат отнесения j-м экспертом i-ой альтернативы  сравнения к объектам k-го класса.

Данное требование является следствием принципа запрета пересечения классификационных подмножеств по выбранному основанию класса и обеспечивает однозначную идентификацию альтернативы экспертом.

При получении оценок в шкале отношений в рамках использования процедур парных либо множественных сравнений ключевым индикатором корректности проведенной оценки является соблюдение свойства транзитивности оценок. Оно также без труда проверяется и при использовании метода ранжирования альтернатив (см. пример1). Однако в этой ситуации дополнительно следует осуществить проверку полученных данных индивидуального опроса на правильность выставления связных рангов (см.алгоритмы к примеру 1). И как уже раннее отмечалось проверить выполнение условия стандартизации полученной ранжировки, т.е. , где zji – ранг, присвоенный j–экспертом i-у объекту оценивания, а m – число альтернатив сравнения.

Часто в ходе работы с информацией, представленной в шкалах не менее совершенных, чем интервальная весьма полезной, а иногда и просто необходимой является процедура нормирования переменных, т.н. переход в так называемые z-координаты. Она, как правило, может быть осуществлена в соответствии с одним из приведенных ниже методов взвешивания.

где

- оценка i-м субъектом j-й альтернативы;

- среднее значение по альтернативе j;

- стандартная ошибка  измерения j-й альтернативы;

- соответственно  максимальное и минимальное значение j-й альтернативы.

 

Обычно стараются так провести процедуру нормирования, чтобы средняя по соответствующему признаку равнялась нулю, а дисперсия была близка к единице.

Как правило, после обнаружения некорректности в проставлении оценок или наличии со стороны менеджеров экспертизы дополнительных вопросов к экспертам по результатам индивидуального оценивания происходит дополнительный тур обсуждения результата с их респондентами. Иногда коррекция признается безусловно необходимой и она тут же осуществляется формально. Иногда аналитики экспертизы просят автора оценки обосновать свое мнение, как, например это делается в ходе процедуры Дельфы для авторов крайних суждений по проблеме. При этом во многом анализ индивидуальных результатов носит не формализуемый характер. Особо важно выяснить причины неудач. Чаще всего они объяснятся: -

неудачным подбором состава экспертной группы (ее качеством, количеством, предвзятостью и/или недобросовестностью членов группы ); -

неточной формулировкой задач, стоящих перед экспертами; -

неудачно выбранной методикой проведения процедуры организации экспертного опроса; -

малой изученностью предметной области, в границах которой проводится оценивание; -

реальным наличием нескольких несовпадающих точек зрения на перспективы объекта оценивания.

Обоснование и вычисление групповой экспертной оценки

В зависимости от целей экспертной оценки и выбранного метода измерения возможно решение различных задач обработки информации, получаемой в виде индивидуальных оценок от экспертов. Прежде всего, это задачи получения обобщенной оценки объектов на основе индивидуальных оценок экспертов при различных методах измерения.

В практике экспертного оценивания существует огромное количество общих и специальных методов, алгоритмов и процедур обработки экспертной информации. Подробно с ними можно ознакомиться, например, в работах . Однако в общем случае методы, используемые при решении такого рода задач, возможно классифицировать в следующие группы [11]: 1.

Статистические методы обработки результатов экспертного оценивания. Они основаны на предположении о случайности отклонения оценок экспертов от истинных значений оцениваемых параметров изучаемых объектов. Исходные данные к обработке рассматриваются как выборочная статистика, по которой возможно восстановить свойства присущие некой генеральной совокупности свойств. В этой постановке задача получения результирующих оценок ставится как задача восстановления истинного значения параметра на основе имеющихся оценок с наименьшей погрешностью. 2.