Общие представления о методах экспертной оценки

На втором этапе исследования экспертам было предложено из списка качеств отобрать такой необходимый и достаточный их под-набор, который, по их мнению, наилучшим образом характеризует творческую активность личности. 
Чаще всего (более чем в 50% случаев) назывались следующие качества: наличие собственного взгляда на вещи, разносторонность интересов, критическое отношение к себе, упорство и целеустремленность, способность оставит след в духовном мире другого человека; постоянная готовность дойти до самой сути; постоянное переосмысление известного; целостность личности; постоянное самообразование; способность пожертвовать отдыхом ради работы.

После того, как методические документы подготовлены, они должны пройти стадию логической проверки и практического апробирования - пилотажа. Перед социологом встает задача определить, насколько методика соответствует целям исследования, позволяет ли она проверить выдвинутые рабочие гипотезы, направлена ли именно на тот аспект предмета исследования, которого касаются гипотезы, например, измеряет ли шкала потребностей в общественно- политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьеристских целей и т.п. Проверка готовой методики на надежность, устойчивость и обоснованность выполняется параллельно двумя способами: о помощью логического анализа и пробного использования ее на микровыборке - пилотажа. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу подготовленных методик (свободное интервью, реже - "мозговая атака" и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов[11].

В процессе пилотажа методик применение экспертных методов ограничено, поскольку здесь подготовленные и логически проверенные документы проходят практическую апробацию. Однако и тут возможно привлечение экспертов, во- первых, для определения численности и состава пилотажных групп, во-вторых, для обсуждения, итогов пилотажа, внесения исправлений и дополнений в документы. Но наиболее эффективен здесь обмен мнениями.

В упомянутом исследовании по изучению и прогнозированию социальных потребностей молодежи экспертный метод применялся для проверки на обоснованность подготовленного опросника. В соответствии с требованиями метода "известной группы" по установленной на одной из сессий "мозговых атак" выборке были определены две группы респондентов - с высоким и низким уровнем изучаемой художественно-эстетической потребности[12].

Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике наших социологических исследований.

Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь вновь открываются широкие возможности применения экспертных методов. Очень часто оказывается: ту информацию, которая собирается в ходе массового анкетного опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, обществен политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.

2.2Область применения.

Экспертный опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований. 
Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения[13].

Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме, постольку статусом эксперта могут быть (при известных ограничениях) наделены, во-первых, специалисты, занимающиеся исследование различных аспектов этой проблемы, во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества, и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления суждений профессионального, специализированного сознания и сознания массового. Поскольку первые выступают в качестве эталона рационалистического, научного отношения к проблеме, постольку степень близости ответов населения к реакциям экспертов служит индикатором компетентности, развитости общественного мнения.

Экспертные оценки были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.

Поскольку социально-культурные цели театра достигаются при ограничениях, заданных финансовым планом, постольку существует два вида его деятельности: художественно-творческая и производственно-экономическая. 
Первой руководит главный режиссер, главный художник, режиссеры- постановщики, помощники главного режиссера по литературной части и по труппе, второй - директор, его заместители, заведующий художественно- постановочной частью. Первая группа именовалась "художественными", а вторая 
- административными руководителями.

В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. Группа «художественных» руководителей была представлена 48, а группа "административных" - 37 респондентами.

Эксперты - участники опроса - высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы с здания театральных объединений и др.

На третьем этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях "обмен мнениями".

Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").

Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: "мозговая атака" и "обмен мнениями"[14].

Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально прогностические задачи. Роль экспертов в прогнозировании трудно переоценить. Причем на этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются "стимулирование наблюдения", формализованный опрос, шкалированные оценки, "метод Дельфи"[15].

Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо показать, какой вклад исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулировать практические рекомендации по управлению изучавшимися социальными процессами.

На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии[16].

Итак, экспертный опрос наряду с массовым представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и методических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему обработки и анализа, постановки проблемы достоверности и репрезентативности и т.п.

Функции экспертного метода в социологическом исследовании не сводятся лишь к получению первичной социологической информации. Как показывает теоретический анализ и практические результаты, эксперты могут использоваться практически на каждом этапе организации и проведения социологического исследования.

 

 

 

 

 

 

            Заключение

 

Экспертный опрос (очный и заочный, одноразовый и итеративный) имеет ряд принципиальных отличий от традиционно применяемого в социологии опроса массового. Эти два подразделения опросного метода при включении в исследование служат для решения различных задач, что должно находить отражение в содержании программы, инструментарии (формулировке обращения, вопросов, инструкций, кодировке ответов), способе отбора респондентов, определении надежности полученной информации, методе ее количественной обработки и анализа. Несоблюдение правил включения двух различных модификаций опроса в структуру исследования может привести к получению разнохарактерной информации, неприводимой к одному основанию.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

                   Список литературы.

Бестужев-Лада И.В. Социальное прогнозирование: особенности и проблемы.

Прогнозирование социальных потребностей молодежи.

Докторов Б.З. Экспертный опрос как метод изучения общественного мнения. – 1975.

Аванесов В.С., Маслин А.А., Минасьян С.Г., Чередниченко В.В. 
Методические проблемы измерения и прогнозирования художественно- эстетической потребности.

Ядов В.А. Социологическое исследование: методология, программа, методы. – М., 1987.

Батыгин Г.С. Опыт построения типологии социальных показателей образа жизни. Социологические исследования. – 1977. – №2.

Чередниченко В.В. Применение экспертных оценок в социологических исследованиях. Социологические исследования. – 1981. №3

Гардон Л.А., Чертихина Э.С. Экспертная оценка гипотез при изучении перспектив развития образа жизни. Социологические исследования. – 1983. 
-----------------------

[1] В.А. Ядов. Социологическое исследование: методология, программа, методы, - М., 1987.

[2] Гардон Л.А., Чертихина Э.С. Экспертная  оценка гипотез при изучении  перспектив развития образа жизни. Социологические исследования. –