Оценка надежности социологической информации. Методики оценки надежности (на примере результатов пилотажного исследования)

Существует приблизительная оценка надежности результатов выборочного  обследования. Повышенная надежность допускает ошибку выборки до 3% , обыкновенная – 3-10% (в таком случае доверительный интервал будет распределен на уровне 0,03-0,1), приближенная – от 10 до 20%, ориентировочная от 20 до 40%, а прикидочная - более 40%.

Объем выборки в основном определяется уровнем однородности или разнородности изучаемых объектов. Чаще всего для расчета объема выборки в зависимости от заданного уровня доверительного интервала ошибки используется статистический критерий Стъюдента. Так же данным способом можно оценить обоснованность сравниваемых подвыборок. Чем меньше объем сравниваемых подвыборок, тем больше должно быть различие каждой пары сопоставляемых характеристик. Существенность  процентных различий в зависимости от объема выборки представлена на таблице 1.

Таблица 1. Существенность процентных различий в зависимости от объема выборки

Объем подвыборок по их численности	Значимая разность в % при ошибке не более 5%	Объем подвыборок по их численности	Значимая разность в % при ошибке не более 5%
50	20	300	8
100	14	500	6,3
150	11,5	1000	4,5
200	10	5000	2

Во время построения выборки  должны быть учтены случайные ошибки, по сути являющиеся ошибками репрезентативности вероятности выборок. По В.И. Паниотто репрезентативность выборки с допущением 5 рассчитывается в соответствии с данными, представленными в таблице 2.

Таблица 2. Расчет репрезентативности выборки с допущением % ошибки 5% ошибки

Объем генеральной совокупности	500	1000	2000	3000
Объем выборки	222	286	333	350
Объем генеральной совокупности	4000	5000	10000	100000
Объем выборки	360	370	385	398

 

Следовательно, для выборки с  пятипроцентной ошибкой достаточно исследовать 400 единиц при практически  неограниченной генеральной совокупности и уровне надежности 95%. Увеличение требований к точности данных до 4% повышает объем выборки до 625 единиц, точность 3% - до 1111 единиц, 2% — 2500 единиц и 1% — 10 000 единиц.

Так же возможны ошибки систематического характера, которые зависят от непосредственной организации выборочного обследования. К примеру, это могут быть смещения выборки в сторону одного из полюсов выборочного параметра. Смещение выборки – наиболее типичная систематическая ошибка. Её устранение осуществляется посредством выполнения правила обеспечения потенциальной возможности попадания в выборку каждой единицы наблюдения. С этой целью может использоваться список, из которого выбирается, например, каждый  5 (по списку). Данный интервал называется шагом выборки.

Систематическая ошибка может так  же возникнуть при игнорировании  какого-либо важного параметра обследуемой совокупности.

1.2. Оценка надежности первичного  измерения

Чаще всего учитывается  надежность непосредственно самого первичного измерения, например, опроса или наблюдения.

Под измерением понимают процедуру, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает числовое выражение в определенном масштабе шкалы.

В таком случае, шкала является своеобразным эталоном измерения. Построение шкалы осуществляется в четыре стадии, каждая из которых обеспечивает её надежность:

1. Классификация объектов.

В основе классификации может лежать типологизация элементов объекта, его структуризация или иерархичность  составляющих его частей.

2. Поиск протяженности выделенных в качестве анализа свойств.

Например: сильный - средний – слабый; частый – редкий и т.д. На данной стадии необходимо четко определить ряд свойств, избегая их смешения, дабы в одной группе не оказались характеристики, относящиеся к разным группам.

3. Установление эмпирических индикаторов или внешних признаков свойств объекта.

Показателем измеряемого признака может служить индикатор, с помощью  которого устанавливается наличие  либо отсутствие признака и степень  его проявления. Одно и тоже свойство может фиксироваться с помощью  нескольких индикаторов, которые сводятся в общий показатель – индекс.

4. Анализ присутствия и места единиц, составляющих измеряемый объект

1.2.1. Описание методик оценки  надежности

В процессе пилотажного исследования проводятся некоторые операции, позволяющие  повысить надежность первичного исследования. После окончательной проверки  надежности первичного измерения, их контроль переносится  на вторичные и так далее.

Надежность — это вероятность отклонения приписываемого объекту значения от истинной его характеристики.

Существуют различные приемы и  оценки надежности первичной информации, например, с точки зрения внешнего или внутреннего контроля данных. Также используется понятие надежности инструмента измерения, подразумевающее такие приемы контроля как обоснованность, устойчивость и правильность:

1. Обоснованность (валидность)

Обоснованность позволяет целенаправленно  измерять определенное свойство или  признак, не смешивая его с другим.

Разделяют  теоретическую и эмпирическую сторону обоснованности. Теоретическая  связана с содержательными предпосылками исследования и предполагает установление значимых связей с теорией, вторая требует доказательства надежной регистрации данных в сфере проявления объекта.

Для повышения обоснованности измерения  используются следующие приемы:

1. Логическое рассуждение на основе здравого смысла.
2. Тест по «эталонной группе».

Данный прием подразумевает  сопоставление данных, полученных путем  измерения по шкале, с достоверными сведениями об объекте измерения.

3. Использование независимого измерения.

Например, технического средства.

4. Использование метода судей.

Количество судей зависит от однородности выборочной совокупности проводимого исследования.

5. Построение индекса, совмещение нескольких показателей для регистрации определенного свойства.

В данном случае для определенного  свойства находится множество проявлений, к каждому из которых составляется отдельная шкала. Затем измерения по этим шкалам суммируются либо образуются логические конструкции.

2. Устойчивость (стабильность)

Под устойчивостью понимают степень  однозначности полученной в  результате измерения информации. Существуют следующие способы проверки инструмента на устойчивость:

1. Повторное измерение («тест-ретест»)

Один и тот же объект измеряется несколько раз с определенным интервалом времени (например, 2-3 недели) с применением одинаковых процедур. Если совпадения измерений будут достаточно высоки, то данная шкала считается устойчивой. При повторном замере возникает вероятность влияния первой регистрации на вторую и последующие

Процент устойчивости измеряется по формуле:

Р = n/N, (1)

 где Р – процент устойчивости, n – количество совпавших вариантов ответов, а N – общее число испытуемых.

2. Использование нескольких лиц для измерения одного свойства

Подразумевает измерение объекта  несколькими исследователями, использующими  одинаковые процедуры.

3. «Расщепление» шкалы

шкала раздваивается на две части.

Если измерения по каждой части  совпадают, то эти шкалы можно  рассматривать как равноценные, суммировать данные и пользоваться ими одновременно.

3. Точность и правильность

Точность и правильность измерений зависят от степени устойчивости измеряемого объекта или его свойства; чувствительности эталона измерения; отсутствия систематических ошибок измерения; а также от устойчивости измерения.

Правильность характеризует степень близости полученного в результате измерения значения к истинному значению измеряемой величины. Правильность является систематической ошибкой и может влиять на результаты исследования. Данную ошибку может порождать неправильный инструмент. Например, когда шкала несбалансированна или респондент не может понять вопрос или на него влияют объективные факторы (например, влияние интервьюера).

Так в опросе смещения шкалы, как  правило, возникают при ранжировании объектов по списку. Позиции, стоящие  в начале списка, обычно отмечаются чаще, чем последние.

Точность измерения – это количество градаций переменной, которое может быть изменено в зависимости от задач исследования.  Например, данные о возрасте, расстоянии, времени и. т.д.

В таком случае, чем больше градаций, тем более точные данные получает исследователь. Соответственно, чувствительность шкалы в 10 делений будет выше, чем в 5.

Оптимальная чувствительность шкалы  это соотношение максимальной градации шкалы и устойчивости результатов  измерения. Потому как существует закономерность: чем чувствительнее инструмент, тем меньше устойчивость получаемых данных.

Правильность и точность измерения  можно повысить путем расчета  относительной ошибки измерения.

Относительная ошибка позволяет сопоставлять правильность замеров по двум и более  шкалам разной чувствительности, отрабатывая оптимальный инструмент. Относительная ошибка определяется по формуле Г.И. Саганенко:

Δотн.= w / m , (2)

где  w - оценка полной устойчивости шкалы, а m - диапазон реально работающей ее части. Реально работающими называются наиболее часто выбираемые пункты шкалы.

Способами повышения точности и  правильности являются:

• Устранение неравномерного распределения данных, сконцентрированных только на одном полюсе, а также удаление выпадающих частей шкалы;
• Испытание нескольких шкал с расчетом абсолютной ошибки каждой из них и сравнения относительных ошибок
• Минимизация относительной ошибки.

 

Таким образом, критериями не правильности могут выступать:

1. Отсутствие разброса в значениях по шкале
2. Нормативное давление в сторону желательного ответа
3. Низкая чувствительность шкалы.

1.2.2. Повышение надежности информации 

Оценивая надежность исследования, следует учитывать особенности  методов и операций сбора данных. Чаще всего надежность рассматривается  в рамках количественных исследований. Потому как для оценки надежности качественных исследований нет согласованности в определении достоверных критериев надежности и проведения статистики валидности. В данном случае надежность оценивается с помощью логических сопоставлений полученных данных с другими источниками информации, либо рассмотрения этих данных на противоречивость и некоторые другие действия исследователя. Более детально проработана тема оценки надежности количественных исследований, где детально проработаны пути повышения её повышения. Традиционно используют такие методы сбора данных: прямое наблюдение, анализ документов и опрос:

1. Наблюдение 

В методе наблюдения особое внимание уделяется надежности регистрации  информации. Для повышения достоверности  полученных данных необходимо:

1. Во-первых, максимально дробно классифицировать наблюдаемое явление на элементы, пользуясь при этом четкими индикаторами. Их надежность обычно проверяется в пробных наблюдениях, где несколько наблюдателей регистрируют по единой инструкции одни и те же события;
2. Необходимо четко различать и регистрировать содержание, формы проявления наблюдаемых событий и их количественные характеристики (интенсивность, регулярность, периодичность, частоту);
3. Нельзя смешивать описание событий и их интерпретацию;
4. Если наблюдение проводится одним исследователем,  необходимо следить за обоснованностью интерпретации полученных данных;
5. В некоторых случаях, для повышения надежности наблюдение осуществляется несколькими лицами, которые впоследствии сопоставляют свои оценки, мнения, интерпретации, на основе единой техники ведения записей;
6. Так же возможно наблюдение одного и того же объекта в разных ситуациях;
7. Для проверки обоснованности наблюдения возможно использование независимого критерия.