Методы экспертных оценок в социальной работе

 

§ расход бензина  на 100 км пути (в среднем);

 

§ надежность (средняя стоимость ремонта за год);

 

§ быстрота набора скорости 100 км/час после начала движения;

 

§ максимальная достигаемая скорость;

 

§ длительность сохранения в салоне положительной  температуры при наружной температуре  ( - 50 градусов) при выключенном двигателе;

 

§ вес, и т.д.

 

Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам  представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и  надежность. Для машин различных  служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для  районов Крайнего Севера важна теплоизоляция  салона, а для южных районов  страны - нет.

 

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой  постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества не имеют объективного характера. В недавние времена они использовались для создания впечатления о высоком  качестве отечественной продукции. Ведь западные машины не морозоустойчивые, не так ли? Значит, занижая те характеристики, по которым западные машины лучше  и завышая те, по которым лучше  отечественные, можно добиться поставленной цели. Альтернативой единственному  обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето.

 

Основные  функции экспертного опроса в  социологии связаны с оцениванием  социального качества общественных систем и их элементов, вариантов  социально значимых решений, достоверности  данных (в том числе полученных в ходе массового опроса), социальных последствий реализации проектов и  рекомендаций; прогнозированием общественных процессов, аттестацией коллектива и его членов.

 

Однако социологические  функции экспертного опроса не сводятся лишь к решению перечисленных  задач. В.В. Чередниченко справедливо  указывает на потенциальные возможности  использования экспертов практически  на всех этапах социологического исследования. Данное предположение подтверждается анализом накопленного в это области  практического опыта.

 

Законченное социологическое исследование состоит, как известно, из четырех основных этапов: разработки программы исследования, полевого этапа - обора информации, ее обработки и анализа результатов. Каждый из этих этапов в свою очередь  распадается на более мелкие части. Так, в программе должны быть представлены теоретический и процедурный  разделы, а также обоснование  выборки.

 

При подготовке теоретического раздела программы, как правило, применяются очные  методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследования требуют возможно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. Рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез. Поскольку при подготовке теоретического раздела программы помощь специалистов состоит прежде всего в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.

 

Процедурный раздел программы - наиболее сложная  и ответственная часть работы. Все теоретические положения  на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых  строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их проверки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

 

При эмпирической операционализации понятий основная задача состоит в достижении согласованного мнения по поводу явлений реальной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как мы можем установить степень общественной активности респондента? Наиболее эффективным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями ("отнесенной оценки"). Так, в исследования социальных потребностей молодежи этот метод использовался для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов позволил установить эмпирические референты, по которым можно судить, проявляются ли у респондентов изучаемые потребности. Полученное операциональное определение эстетической потребности, явилось в дальнейшем основой для разработки измерительной шкалы.

 

Выдвижение  рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических  положений концептуальной модели к  эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой  экспертов. Наибольший эффект достигается  применением методов обмена мнениями и стимулированного наблюдения, например, путем «мозгового штурма».

 

Разработка  методики сбора информации, предназначенной  для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в упоминавшемся  исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

 

Различные процедуры  с использованием экспертных оценок все чаще применяются при разработке методике групповой оценки личности.

 

После того, как методические документы подготовлены, они должны пройти стадию логической проверки и практического апробирования - пилотажа. Перед социологом встает задача определить, насколько методика соответствует целям исследования, позволяет ли она проверить выдвинутые рабочие гипотезы, направлена ли именно на тот аспект предмета исследования, которого касаются гипотезы, например, измеряет ли шкала потребностей в общественно-политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьеристских целей и т.п. Проверка готовой методики на надежность, устойчивость и обоснованность выполняется параллельно двумя способами: с помощью логического анализа и пробного использования ее на микровыборке - пилотажа. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу подготовленных методик (свободное интервью, реже - "мозговая атака" и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов.

 

В процессе пилотажа методик применение экспертных методов  ограничено, поскольку здесь подготовленные и логически проверенные документы  проходят практическую апробацию. Однако и тут возможно привлечение экспертов, во-первых, для определения численности  и состава пилотажных групп, во-вторых, для обсуждения, итогов пилотажа, внесения исправлений и дополнений в документы. Но наиболее эффективен здесь обмен  мнениями.

 

Обоснование выборки завершает разработку программы. На этом этапе необходимо принять  решение о том, каким будет  исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов  минимальна: для определения объема выборки существуют детально разработанные  статистические процедуры. Однако эксперты могут быть полезны для определения  способа отбора - операции, требующей  учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет  избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К  сожалению, этот момент учитывается  далеко не всегда. Обоснование выборки  остается пока одним из слабых звеньев  в практике наших социологических  исследований.

 

Когда программа  готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и  сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший  его способ. Что же касается сбора  эмпирических данных, то здесь вновь  открываются широкие возможности  применения экспертных методов. Очень  часто оказывается: ту информацию, которая  собирается в ходе массового анкетного  опроса или интервьюирования, со значительно  меньшими затратами средств, сил  и энергии можно получить, используя  другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, общественно-политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.

 

Экспертный  опрос наряду с традиционными  методами сбора информации может  широко применяться и в других областях социологических исследований. Использование данного приема весьма эффективно при изучении общественного  мнения.

 

Чем обусловлено  обращение к экспертам? Заключения специалистов, связанных в силу своей  повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

 

Поскольку общественное мнение всегда предметно, поскольку  в нем всегда содержится отношение  к той или иной проблеме, постольку  статусом эксперта могут быть (при  известных ограничениях) наделены, во-первых, специалисты, занимающиеся исследование различных аспектов этой проблемы, во-вторых, представители  социальных институтов, призванных решать ее в интересах всего общества, и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

 

В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления  суждений профессионального, специализированного  сознания и сознания массового. Поскольку  первые выступают в качестве эталона  рационалистического, научного отношения  к проблеме, постольку степень  близости ответов населения к  реакциям экспертов служит индикатором  компетентности, развитости общественного  мнения.

 

На третьем  этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение  оптимальной стратегии обработки. Как проверить гипотезы, с помощью  каких статистических методов? Какие  статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы  исследователь должен раньше, чем  массив информации будет переведен  на машинные носители и введен в  компьютер. Строго говоря, стратегия  обработки данных, хотя бы в общих  чертах, должна быть ясна еще во время  подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым  непосредственным образом связаны  с методами обработки собранной  с их помощью информации. Участие  экспертов в определении путей  решения этой задачи должно оказаться  чрезвычайно полезным, однако пока наша социологическая практика таким  опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

 

На этапе  ручной обработки и кодирования  возможностей использования эксперта гораздо меньше. Но и здесь следует  обращаться к специалистам, например, при выборе способа кодирования  или в спорных случаях, когда  вероятна различная интерпретация  записей, содержащихся в методических документах. Форма опросов экспертов  в этом случае - свободное интервью и в отдельных случаях "обмен  мнениями".

 

Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились  ли они эмпирическими данными. Иногда для этого достаточно просмотреть  соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").

 

Затем следует  интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались  в терминах эмпирического следования, следовательно, нужно перевести  результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в  этой модели соответствует эмпирической действительности, что - нет, в каких  направлениях надо ее развить, дополнить, в каких пересмотреть, а то и  вовсе сократить. Эта работа может  быть эффективно проведена с помощью  экспертов. Наиболее подходящими здесь  представляются методы очного опроса: "мозговая атака" и "обмен мнениями".