Общие представления о методах экспертной оценки

1.3 Специфика экспертного опроса.

В современной методологической литературе указывают, как правило, на существование трех основных методов сбора первичной социологической информации. К ним относят метод прямого наблюдения, метод анализа документов и метод опроса[1].

В комплексе перечисленных социологических методов в настоящее время наиболее популярен опрос. Его специфика состоит прежде всего в том, что источником первичной социологической информации является человек 
(респондент) - непосредственный участник исследуемых социальных процессов и явлений. В основе опросного метода лежит совокупность предлагаемых опрашиваемым вопросов, ответы на которые и образуют первичную информацию.

Обычно выделяют два больших класса опросных методов - анкетирование и интервьюирование, связанные с письменной или устной формой общения с респондентами. Существует, однако, еще одно специфическое подразделение опросов, которое далеко не всегда учитывается при проведении социологического исследования, но настолько важное, что его следует рассматривать особо как превосходящее по значимости все прочие подразделения. Речь идет об обособлении массового и экспертного опросов.

Опросы этих двух видов, как правило, включаются в исследование для решения различных задач. Целью массового опроса является получение информации о знаниях, мнениях, ценностных ориентациях и установках респондентов, отражающих их отношение к определенным событиям, явлениям действительности. Цель экспертного опроса заключается в получении информации о самих событиях и явлениях действительности, отраженной в знаниях, мнениях и оценках респондентов. Подобная информация может исходить только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования. Опросы компетентных лиц именуются экспертными, а результаты опроса - экспертными оценками.

Наиболее наглядно проявляется отличие экспертного опроса от массового в прогнозировании.

Так, например, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода.

В соответствии со степенью разработанности гипотез, знания направлений прогноза в инструментарий исследования включаются те или иные виды вопросов. В том случае, если исследователь располагает информацией лишь о возможных вариантах исхода прогнозируемого явления и затрудняется однозначно сформулировать их причины, предпочтительней в анкете эксперта использовать открытые вопросы с полной свободой выбора формы ответа. Если же исследователь располагает приемлемыми предположениями о причинах исхода прогноза, он сам может сформулировать прогностические гипотезы. Последние в виде утверждений составляют основу формализации анкеты эксперта[2].

Основной инструментарий экспертных опросов - анкета или бланк- интервью, разработанные по специальной программе. При его составлении некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Так, например, нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить "скрытые" позиции респондента. Более того, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова - активный участник научного исследования, и попытка скрыть от него цель исследования, превратив таким образом в пассивный источник информации, чревато потерей его доверия к организаторам исследования.

Ориентация опроса на экспертный или массовый должна гарантироваться формулировкой вопросов, инструкцией интервьюеру и т.п., а также контролироваться при кодировке вариантов вопросов. В зависимости от того, какая ориентация опроса признана основной, зависит и включение получаемой информации в схему обработки и анализа. В противном случае в рамках одного опроса можно получить разнохарактерную информацию, не приводимую к одному основанию. Ориентация на массовый или экспертный опрос существенно влияет на постановку проблемы надежности полученной информации, в особенности если последняя носит оценочный характер.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.1 Структура и функции экспертного опроса.

Как справедливо указывает В.А. Ядов, если мы имеем дело с массовыми опросами, а не с опросами экспертов, необоснованные оценки при фактической осведомленности о данном предмете столь же "надежны", как и обоснованные. В этом смысле проверка компетентности опрашиваемого сводится к тому, чтобы уяснить, извести ли ему оцениваемые события. Такова типичная ситуация при опросе общественного мнения. Оно может быть справедливым и объективным несправедливым и ошибочным с точки зрения непредвзятого и серьезного анализа проблемы. Однако знание о мнении и оценках общественности, какими бы ни были эти мнения и оценки, - это объективная и достоверная информация, если опрашиваются люди, знакомые с тем, о чем их спрашивают, если они сталкиваются с данными событиями и фактами в своей повседневной жизни.

Иначе обстоит дело, если проводится экспертный опрос, где опрашиваемые 
- специалисты, и их компетентность должна не вызывать сомнений. В этом случае важна не только объективно обусловленная возможность респондента судить по данному предмету, но и реальная способность высказать обоснованное мнение. Поэтому для экспертных опросов тщательнейшим образом отбирают только тех, кто вполне заслуживает статуса компетентного лица в данной области. Например, экспертный опрос в сфере организации досуга может охватить ответственных работников отделов культуры народных советов, клубных работников, актив общественных организаций, а экспертизу по проблемам организации труда следует, конечно, осуществлять с помощью специалистов совершенно иного профиля[3].

Основные функции экспертного опроса в социологии связаны с оцениванием социального качества общественных систем и их элементов, вариантов социально значимых решений, достоверности данных (в том числе полученных в ходе массового опроса), социальных последствий реализации проектов и рекомендаций; прогнозированием общественных процессов, аттестацией коллектива и его членов.

Однако социологические функции экспертного опроса не сводятся лишь к решению перечисленных задач. В.В. Чередниченко справедливо указывает на потенциальные возможности использования экспертов практически на всех этапах социологического исследования[4]. Данное предположение подтверждается анализом накопленного в это области практического опыта.

Законченное социологическое исследование состоит, как известно, из четырех основных этапов: разработки программы исследования, полевого этапа 
- обора информации, ее обработки и анализа результатов. Каждый из этих этапов в свою очередь распадается на более мелкие части. Так, в программе должны быть представлены теоретический и процедурный разделы, а также обоснование выборки.

При подготовке теоретического раздела программы, как правило, применяются очные методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследования требуют возможно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. В.А. Ядов, например, рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез[5]. Поскольку при подготовке теоретического раздела программы помощь специалистов состоит прежде всего в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.

Процедурный раздел программы - наиболее сложная и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их проверки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

При эмпирической операционализации понятий основная задача состоит в достижении согласованного мнения по поводу явлений реальной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как мы можем установить степень общественной активности респондента? Наиболее эффективным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями ("отнесенной оценки"). Так, в исследования социальных потребностей молодежи этот метод использовался для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов позволил установить эмпирические референты, по которым можно судить, проявляются ли у респондентов изучаемые потребности[6]. Полученное операциональное определение эстетической потребности, явилось в дальнейшем основой для разработки измерительной шкалы.

Выдвижение рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических положений концептуальной модели к эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой экспертов. Наибольший эффект достигается применением методов обмена мнениями и стимулированного наблюдения.

Разработка методики сбора информации, предназначенной для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в упоминавшемся исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

В соответствии с операциональным рассмотрением художественно- эстетической потребности в процессе мозговых атак было составлено более ста утверждений, свидетельствующих о наличии или отсутствии художественно- эстетической потребности, которые легли в основу составленного опросника[7].

Построение шкалы измерения потребностей по методу эстремальных групп явилось результатом семи этапов работы, один из которых - составление списка вопросов и определение числа и вида ответов на них, причем таких, которые обладали бы различительной способностью, т.е., делали возможной корреляцию их с уровнем paзвития потребности респондента. Это, как правило, требует дополнительной информации о характере избранной потребности, о фактоpax, влияющих на нее, о видах проявления данной потребности в поведении, сфере сознания, эмоциональной жизни респондентов. В целях возможно большего разнообразия вопросов применялся метод "мозговой атаки", которая расширяет ассоциативную основу коллективной интеллектуальной деятельности[8].

Построение с помощью экспертных оценок шкалы - одна из двух возможных процедур измерения активности фона наряду с математико-статистической обработкой данных по показателям базовой модели за период основания прогноза.

Применение процедур второго типа возможно в том случае, когда исследователь располагает полными и достаточно надежными данными, характеризующими динамику как профиля так и фона. Если же таких данных в распоряжении исследователя нет - а это типичная ситуация для прогнозирования в социологии, - ему приходится прибегать к опросу экспертов. Кроме того, экспертные оценки необходимы как вспомогательный, контрольный метод и в том случае, когда возможно применение математико- статистических процедур.

Шкалированный опрос экспертов был использован в работе Б.С. Батыгина для построения системы показателей образа жизни. Выбор экспертного метода обосновывается применением эмпирического определения значимости показателей, разработанных в современной социологии и статистике и основанных на построении многомерных моделей, на данном этапе построения системы затруднено. Экспертные оценки используются, как правило, в ситуациях, когда точность информации, необходимой для принятия решения, относительно невелика. Притом, при выборе данного метода сыграли определенную роль соображения экономичности и простоты экспертизы.

Опрос экспертов обнаружил гораздо больше нерешенных теоретических и методологических проблем, чем достоверных решений, однако, несмотря на приблизительность оценок он удобнее и экономичнее более сложных техник статистического определения значимости показателя[9].

При рассмотрении роли экспертного метода в разработке методики сбора информации необходимо подчеркнуть также тот факт, что шкалы высшего для социологического измерения типа - интервальные - строятся исключительно на основе экспертных оценок в технике парных сравнений (шкала Терстоуна), равных интервалов и последовательных категорий[10]. Работа с экспертами широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы.

Различные процедуры с использованием экспертных оценок все чаще применяются при разработке методике ГОЛ (групповой оценки личности). В качестве примера можно привести исследование, проведенное социологической лабораторией Киевского университета, при составлении банка шкал для измерения творческой активности был использован один из вариантов экспертного опроса, разработанный в рамках подхода к изучению частоты поступков.

Процедура состояла в том, что от группы экспертов (21 человек) требовалось указать личностные свойства и поступка своих знакомых и друзей, которых, по их мнению, можно назвать творчески активными личностями. Эти черты и поступки должны были служить примером проявления творческой активности или отражать ее наличие у данного человека. Затем группе экспертов (31 человек) предлагалось оценить по полученному списку качеств известных им творчески активных людей, используя следующую шкалу: 5 - качество, присущее полностью; 4 - присуще отчасти; 3 - выражено очень слабо; 2 - отсутствует полностью. Кроме того, эксперты могли указать на неприменимость качества для оценки конкретного человека или на отсутствие достаточных знаний о его проявлении. Полученные ретроспективные оценки усреднялись, что давало возможность вычленить те качества личности, по которым наблюдалась высокая согласованность мнений экспертов.