Определение грубых ошибок

В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т. п. Это проявляется в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавливают критическую границу так, чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой и соответствовала бы некоторому уровню значимости а. Это правило основано на том, что появление в ответах чрезмерно больших значений хотя и возможно как следствие естественной вариабельности значений, но маловероятно.

Если окажется, что какие-то крайние значения совокупности принадлежат ей с очень малой вероятностью, то такие значения признаются грубыми ошибками и исключаются из дальнейшего рассмотрения. Выявление грубых ошибок особенно важно проводить для малого числа опрашиваемых: не будучи исключенными из анализа, они существенно искажают полученные результаты. Для этого используются специальные статистические критерии определения грубых ошибок [7].

Итак, дифференцирующая способность шкалы как первая существенная характеристика ее надежности предполагает: обеспечение достаточного разброса данных; выявление фактического использования респондентом предложенной протяженности шкалы; анализ отдельных «выпадающих» значений; исключение грубых ошибок. После того как установлена относительная приемлемость используемых шкал в указанных аспектах, следует переходить к выявлению устойчивости измерения по этой шкале.

Существует несколько приемов проверки устойчивости измерений: повторное измерение (тестирование); включение в анкету эквивалентных вопросов и разделение выборки (числа опрашиваемых) на две части.

Наиболее распространенный прием контроля на устойчивость — повторное измерение — состоит во вторичном проведении проверяемого измерения в одной и той же выборке через определенный промежуток времени. Зачастую достаточно сложно установить длительность промежутка между двумя измерениями. С одной стороны, он должен быть возможно меньше, чтобы избежать вероятных изменений измеряемого признака. С другой стороны, он должен быть достаточно большим, чтобы исключить эффект запоминаемости первичного исследования. Последнее противоречило бы требованию независимости опытов друг от друга. Дать общую установку в отношении длительности промежутка времени между опытами практически невозможно.

Последняя определяется целью исследования, в котором применяется данная процедура, сложностью для запоминания даваемых ответов, изменчивостью условий проведения измерений, стабильностью параметров измерения, мотивационными изменениями и др. Обычно один и тот же объект измеряется дважды с двух-, трехнедельным временным интервалом и с помощью одинаковой процедуры. Шкала считается устойчивой, если совпадения между первой и второй сериями измерений будут достаточно высокими.

В отличие от проверки на устойчивость измерения физических объектов исследователь сталкивается здесь с особой проблемой — влиянием психологической установки человека, возникающей после первого измерения. Люди могут намеренно или непроизвольно подгонять данные второго измерения к предыдущему. Или же, напротив, интуитивно сопротивляясь повторному эксперименту, они покажут новые результаты.

Часто интервьюер в конце опроса частично его повторяет, говоря при этом: «Заканчивая нашу работу, вновь коротко пройдемся по вопросам анкеты, чтобы я мог проверить, все ли я правильно записал из ваших ответов». Конечно, речь идет о повторении не всех вопросов, а только критических. При этом надо помнить, что если интервал времени между первичным и повторным тестированием слишком короткий, то респондент просто может помнить первоначальные ответы. Если интервал слишком велик, то могут иметь место некоторые реальные изменения.

Включение в анкету эквивалентных вопросов предполагает использование в одной анкете вопросов по той же проблеме, но сформулированных по-другому. Их респондент должен воспринимать как разные вопросы. Главная опасность данного метода заключается в степени эквивалентности вопросов; если это не достигается, то респондент отвечает на разные вопросы.

Разделение выборки на две части основано на сравнении ответов на вопросы двух групп респондентов. Предполагается, что эти две группы являются идентичными по своей композиции и что средние оценки ответов для этих двух групп являются очень близкими. Все сравнения делаются только на групповой основе, поэтому сравнение внутри группы проводить невозможно. Например, среди студентов колледжа с помощью шкалы Лайкерта с пятью градациями был проведен опрос относительно их будущей карьеры. В анкете приводилось утверждение: «Я считаю, что меня ожидает блестящая карьера». Ответы были обобщены, начиная с «совершенно не согласен» (1 балл) и кончая «совершенно согласен» (5 баллов). Затем общая выборка опрошенных была разделена на две группы и были вычислены средние оценки для этих групп. Средняя оценка была одинаковой для каждой группы и равнялась 3 баллам. Данные результаты дали основание считать измерение надежным. Когда же проанализировали групповые ответы более внимательно, то оказалось, что в одной группе все студенты ответили и «согласен» и «не согласен», а в другой — 50% ответили «совершенно не согласен», а 50% — «абсолютно согласен». Как видим, более глубокий анализ показал, что ответы не являются идентичными.

Вследствие данного недостатка этот метод оценки устойчивости измерений является наименее популярным.

О высокой устойчивости шкалы можно говорить лишь в том случае, если повторные измерения с ее помощью одних и тех же объектов дают сходные результаты. Если устойчивость проверяют на одной и той же выборке, то часто оказывается достаточным сделать два последовательных замера, как ранее отмечалось, с определенным временным интервалом.

Для повышения устойчивости измерения необходимо выяснить различительные возможности пунктов используемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных пробах респонденты четко повторяют свои оценки. Следовательно, высокой различимости делений шкалы должна соответствовать малая ошибка.

Эту же задачу можно описать в терминах чувствительности шкалы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е., чем больше градаций в шкале, тем больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка измерения ±10 баллов).

Но и при малом числе градаций, т. е. при низкой чувствительности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают категорические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет».

Итак, следует найти некоторое оптимальное соотношение между чувствительностью и устойчивостью. Рекомендуется использовать столько градаций в шкале, чтобы абсолютная ошибка измерения не превышала 0,5 деления шкалы (балла).

Если ошибка меньше 0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При | А | > 0,5 балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше).

В то же время если ошибка вообще отсутствует, то не исключено, что шкала обладает заниженной чувствительностью.

Существуют способы, позволяющие добиться требуемой чувствительности [7].

На основе данных двух последовательных проб определяем пороги различаемое™ градаций шкалы. В том случае, если обнаружено смешение градаций, применяют один из двух способов.

Первый способ. В итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй способ. Для предъявления респонденту сохраняют прежнюю дробность шкалы и только при обработке укрупняют соответствующие ее пункты.

Второй способ кажется предпочтительнее, поскольку, как правило, большая дробность шкалы побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различительной способности исходной шкалы.

Итак, предложенные способы анализа целесообразны при отработке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет: а) выявить плохо сформулированные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы, предложенной для оценки того или иного явления, и выявить более оптимальный вариант дробности значения шкалы.

Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной с устойчивостью), которые будут получены в основном исследовании.