Общие представления о методах экспертной оценки

Введение. На современном этапе развития российского общества, в период крупнейших научно-технических, социально-экономических преобразований неизмеримо возрастает значение социологической науки.

В настоящее время в нашей стране метод экспертных оценок широко применяется при подготовке на государственном уровне важнейших народно- хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комисии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. В данной работе мы постараемся раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.

Глава 1. Общие представления о методах экспертной оценки

1.1.Определение метода экспертных  оценок

Экспертные методы используются в исследовании социально- экономических и политических явлений и процессов в тех случаях, когда не хватает достоверной статистической информации об исследуемом явлении или имеются весьма неопределенные представления об условиях его функционирования, что бывает довольно часто,  а также при дефиците времени для исследования данного явления или при проведении его в экстремальных ситуациях.  

Экспертные методы социологического исследования чаще всего имеют форму экспертных опросов - форму устной беседы (интервью) или письменного анкетного опроса.

При устном опросе исследователь вступает в непосредственный контакт с экспертом (респондентом), фиксирует его отношение к обсуждаемой проблеме, контролирует и направляет беседу. При этом надо избегать какого-либо психологического давления на эксперта, не мешая ему свободно высказывать свои суждения.

При письменном опросе эксперты заполняют анкету, разработанную исследователем, и возвращают ее либо лично данному исследователю, либо отправляют ее по почте. В отдельных случаях анкеты могут доводиться до экспертов с помощью СМИ- газет, журналов, радио, телевидения. 
В качестве экспертов привлекаются высококвалифицированные специалисты в области экономики, политики или иной сферы деятельности. Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования. Им дается некая первоначальная информация об исследуемом явлении или процессе и в случае необходимости сообщается дополнительная информация о нем.

На основе представленной информации, своих знаний и имеющегося опыта эксперты высказывают свои суждения, оценки, предложения. Их мнения соотносятся между собой, если надо получить представление об их общем мнении или решении. При этом могут быть использованы разные формы организации труда экспертов, в том числе их «индивидуальная независимая деятельность либо коллективная взаимообусловленная работа». 
Экспертные оценки используются практически на всех этапах экономических исследований, хотя их методическая основа может существенно различаться. Экспертные оценки по своей сути субъективны, но поскольку основу каждого суждения составляют вполне определенная информация, накопленный опыт, результаты анализа объективной действительности, предполагается, что суждения не будут слишком противоречивыми. Различия могут быть преодолены путем взаимной коррекции, произведенной с учетом дополнительных сведений, полученных от других экспертов: при увеличении количества объективной информации, как правило, повышается степень адекватности выдвигаемых гипотез и их использования в исследовании социально-экономического процесса.

Метод экспертных оценок предполагает разработку каждым экспертом индивидуального решения в отношении предполагаемых будущих характеристик исследуемого процесса.

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы. 
Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

1.2 Разновидность методов

Экспертные оценки разделяются на индивидуальные и групповые. 
Индивидуальные оценки (метод «интервью», аналитические докладные записки, написание сценария и др.) предполагают независимую работу каждого эксперта над решением поставленной проблемы. Окончательный вариант решения в этом случае определяется непосредственно исследователем путем анализа экспертных данных. 
Метод «интервью» предусматривает непосредственный контакт исследователя-прогнозиста с экспертом в режиме работы «вопрос — ответ» по заранее разработанной программе, направленной на выявление перспектив развития изучаемого процесса. Успех зависит от продуманности вопросов, их однозначности и логической взаимосвязанности. Вопросы можно разделить на две группы: 1) направленные на оценку мотивов, которыми руководствовался эксперт при обосновании решения;

2) направленные на определение этого решения.

Результатом работы является докладная записка, содержащая обоснование предполагаемых в будущем состояний процесса. Индивидуальное экспертное прогнозирование получило достаточно широкое распространение при определении будущих изменений на рынке товаров- перспективных характеристик спроса, потребления и производства товаров и услуг различных групп, инвестиций и товарных запасов и т.п. 
Написание сценария предполагает описание логической последовательности ситуаций, которые исходя из существующего состояния процесса позволяют прогнозировать возможные состояния в будущем. Последовательность состояний обычно рассматривается во временной системе координат. Сценарный метод применяется при прогнозировании частично или полностью управляемых процессов; он принуждает обращать внимание на детальные стороны взаимосвязей между явлениями, которые могли быть упущены на абстрактном уровне их анализа. Если разработкой сценария занимается не один эксперт, а целая группа, то этот метод относится к групповым экспертным оценкам.

Преимущества групповых экспертных оценок перед индивидуальными: 
•  сумма информации, которой обладают все члены группы экспертов, больше информации, располагаемой каждым из них; 
•  количество учитываемых факторов обычно превосходит число факторов, которыми оперирует отдельный член группы; 
•  правильно организованное взаимодействие членов группы позволяет компенсировать полярность их мнений, способствуя тем самым разработке более обоснованного прогнозного решения. 
Перечисленные преимущества групповой экспертизы являются критерием точности. 
Одним из широко используемых методов групповой оценки прогнозного решения является анкетный метод — ряд последовательных процедур, направленных на подготовку и обоснование прогноза. Эти процедуры характеризуются анонимностью письменного опроса, производимого с помощью анкет регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа. Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов, на каждом из которых характеристики ответов обрабатываются с применением математико-статистических методов и результаты сообщаются анонимно. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экспертов.

Анкетный метод отличается от свободного интервью письменной формой опроса, возможностью привлечения большого числа экспертов; при заочной форме сбора мнений исключается один из недостатков свободного интервью — «эффект интервьюера» (т.е. возможное воздействие интервьюера на формирование мнения опрашиваемого). Однако этот метод отличается низким уровнем возврата анкет; кроме того, полностью не исключается возможность интерпретации организатором экспертизы ответов экспертов. Формализованный опрос представляет собой анкетирование в привычном для социологов смысле слова. Респонденты получают подробно разработанную анкету с вопросами, сформулированными в основном в закрытом или полузакрытом виде. Цель этого метода заключается в выяснении мнения большинства специалистов, оценке ими тех или иных аспектов решения поставленной проблемы. Получаемая информация подлежит не только качественному, но и количественному анализу. 
Метод шкалированных оценок направлен на получение количественной информации с помощью измерения отношения специалистов к предмету экспертизы по той или иной шкале — номинальной, ранговой, метрической. 
Статистические методы являются критерием точности групповой экспертизы. 
В основном метод экспертных оценок учитывается в полной мере при исследовании политических явлений и процессов. Как и в других случаях, при их исследовании применяются такие формы экспертных опросов, как разовый индивидуальный опрос (интервью или анкетирование), однократный коллективный опрос (совещание, мозговой штурм), индивидуальный опрос в несколько туров (метод Дельфи) и коллективный опрос в несколько туров (дискуссия, совещания, многоступенчатый опрос):

Разовый индивидуальный опрос — это разовая беседа с экспертом или одноразовое заполнение им анкеты, полученной от исследователя. Эксперт сам формулирует ответы на вопросы анкеты или выбирает один из предложенных в анкете ответов.

Однократный коллективный опрос направлен на получение заключения коллектива экспертов по рассматриваемой проблеме, поскольку коллективное мнение и заключение экспертов может быть более компетентным. К тому же совместный поиск истины может стимулировать творческий подход к решению поставленной задачи. Есть данные о том, что «групповое мышление производит на 70% больше ценных новых идей, чем сумма результатов индивидуальных мышлений». 

Существуют различные формы однократного коллективного экспертного опроса: дискуссия, совещание, круглый стол и т.п. Во всех из них главным является дискуссия экспертов — в виде простого обмена мнениями на совещании экспертов или в виде «мозгового штурма», в котором высказывание новых идей, гипотез, доказательств нередко принимает лавинообразный характер. При этом большой творческий порыв и «концентрация внимания всех участников на заданной проблеме» дает свой эффект. Важно, однако, чтобы «мозговой шторм» отличался не только творческим порывом, но и основательностью анализа проблемы. Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов. 
Индивидуальный опрос в несколько туров, известный как метод Дельфи, противостоит таким коллективным формам экспертных опросов, как дискуссия и совещание, т.е. характеризуется полным отсутствием личных контактов опрашиваемых экспертов. Процедура их опросов в данном случае состоит из нескольких туров (итераций). Каждая из них начинается с индивидуального опроса экспертов, ответы которых на поставленные вопросы подвергаются машинной обработке. В первом туре эксперты свободно высказывают свои суждения без какой-либо их аргументации. Во втором туре организаторы опроса могут попросить экспертов обосновать свои выводы. При этом каждому из них сообщают обобщенные данные, полученные при обработке материалов первого тура. Таким образом, происходит заочная и анонимная дискуссия экспертов. В ходе третьего тура эксперт может изменить некоторые свои суждения под влиянием представленных ему новых материалов, обосновывая свои измененные суждения и выводы из них. Информация о них сообщается другим экспертам в четвертом туре2. Исследователи отмечают, что после третьего и четвертого туров «ответы экспертов перестают существенно меняться, что и является основанием для прекращения опроса и принятия результатов последнего тура в качестве коллективного мнения, рекомендации или решения». 
Коллективный опрос в несколько туров осуществляется путем использования всех форм и способов коллективной экспертизы, в том числе дискуссии, совещания, круглого стола, «мозгового штурма». Многотуровый или многоступенчатый опрос экспертов направлен на их максимальное углубление в решение соответствующей проблемы, на «превращение такого опроса из интуитивного в интуитивно-логический». Для этого применяются, в частности, «такие формы логического анализа, как разработка матриц взаимокорректировки и «дерева целей». 

При построении «дерева целей» сначала разрабатываются сценарии исследования той или иной проблемы. Затем при многотуровом (многоступенчатом) взаимодействии с экспертами на основе разработанного сценария строится «дерево целей»: фиксируются основная цель исследования и ее «подцели», реализация которых является условием достижения основной цели. Далее «определяются коэффициенты относительной важности критериев и целей» на всех уровнях «дерева целей». После этого «определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления». 
Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов. 
Исключительно важное значение имеет подбор квалифицированных и добросовестных политических экспертов, способных давать глубокие компетентные заключения, не поддаваясь политическому и идеологическому давлению со стороны кого бы то ни было, что довольно трудно. 
В анализе политических явлений и процессов поиск истины часто происходит под сильным влиянием политических интересов тех или иных социальных сил и нередко политических интересов самих экспертов. В этих случаях бывает довольно сложно объективно исследовать политическое явления и делать столь же объективные заключения. 
Особенно это касается исследований политических явлений, ибо последние оказывают определяющее влияние на многие стороны жизни общества, и уже поэтому давление интересов различных социальных сил при решении политических проблем бывает очень мощным. Но именно эти силы часто выступают заказчиком исследований политических явлений и процессов. Поэтому не случайно появляются ошибочные, а иногда и предвзятые заключения экспертов по различным политическим проблемам, неверно отражающие суть дела, а то и фальсифицирующие его. Все свидетельствует о том, что не только уровень квалификации, но и идеологические ориентации и моральные качества экспертов являются важными факторами осуществления экспертного изучения различных политических явлений, складывающихся  ситуаций и в целом политических процессов. 
В настоящее время при их анализе чаше всего прибегают к таким формам экспертного опроса, как устный опрос высококвалифицированных специалистов, среди которых могут быть профессиональные политики, в том числе крупные государственные деятели, а также так называемый круглый стол, за которым ведут творческую дискуссию теоретики и практические политические деятели, приходящие к тем или иным теоретическим решениям и практическим рекомендациям по обсуждаемой проблеме. 
При необходимости исследователи прибегают и к индивидуальным заочным опросам экспертов в несколько туров (так называемому методу Дельфи), а также к коллективному опросу экспертов в несколько туров. Во всех случаях точность и надежность прогнозов относительно исследуемых политических явлений и процессов обусловлена такими факторами, как тщательный отбор экспертов, возможность проверки их выводов и рекомендаций другими способами (системного анализа, сравнительного метода, моделирования и т.д.). 
В настоящее время методы экспертных оценок широко применяются при исследовании политических явлений и процессов и в той или иной мере способствуют их всестороннему анализу. Однако для повышения эффективности их использования они должны быть соответствующим образом организованы.   При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.