Способы обработки данных при оценке организационного климата

Оценки климата, как правило, отличаются довольно большим разбросом. Отсюда возникает серьезный вопрос о качестве такого рода оценок и измерений. Инструменты, рассмотренные в предыдущем параграфе, используют различные шкалы и математические процедуры разной степени сложности. В данном параграфе мы приводим описание основных процедур, которое позволит самостоятельно их использовать читателю, имеющему базовую математическую подготовку в пределах университетского курса. Для читателей, более глубоко интересующихся математическими аспектами измерений организационного климата, предоставляются ссылки на дополнительные источники.

Шкалы представления данных при оценке организационного климата

Все существующие инструменты для оценки организационного климата основаны на порядковой шкале Лайкерта (Likert scale), которая впервые была предложена в 1932 г. американским специалистом в областях организационной психологии и управления Р. Лайкертом. Респондент выражает свое согласие или несогласие с каждым суждением (из предложенного набора) по шкале оценок (из 3, 4, 5, 6, 7 или более позиций), а результат оценки на итоговой шкале определяется суммой оценок по каждому отдельному суждению.

Позиции шкалы Лайкерта обычно кодируются числами от 1 до 5 (для пятипозиционной шкалы), от 1 до 6 (для шестипозиционной шкалы) и т. д., хотя кодирование может включать нулевое значение (например, для кодирования нейтрального отношения) и отрицательные значения (например для кодирования негативного отношения). Направление кодирования зависит от формулировки вопроса. Для позитивно сформулированных утверждений (например, «Творческие идеи в данной организации поощряются») позитивно выраженное отношение (например, «согласен») кодируется, как правило, большим числом (например, 5), а негативно выраженное («не согласен») — меньшим. При негативной формулировке (например «Мой руководитель игнорирует мои предложения») позитивно выраженное отношение может кодироваться меньшим числом, а негативно выраженное — большим.

В большинстве инструментов оцениваются как позитивные факторы климата, так и негативные (например, «Конфликты» в CCQ и SOQ). При оценке одного и того же фактора часто используются как прямые, так и обратные вопросы или утверждения (например, «Мой руководитель поддерживает мои инициативы» и.

«Мой руководитель не поддерживает мои инициативы»). Для того чтобы привести все ответы к одной шкале, отклики на обратные утверждения перекодируются по формуле.

г = (min — s) + max,

где г — отклик на прямые утверждения (вопросы); s — отклик на обратные утверждения (вопросы); min, max — минимальное и максимальное значения шкалы.

При обработке данных базовой процедурой является получение агрегированных и комплексных оценок. Для анализа показателя по выборке респондентов измерения агрегируются, т. е. получаются коллективные (групповые, обобщенные) оценки. Агрегирование обычно осуществляется путем вычисления среднеарифметического значения по группе.

В практике оценки организационного климата также часто встречаются ситуации, когда необходимо синтезировать отдельные показатели в некоторый интегрированный (комплексный) показатель. Например, показатель инновагивности компании интегрируется на основе нескольких показателей, характеризующих ее организационный климат. Как и в случае с агрегированными оценками, для интегрирования показателей обычно используются арифметические действия.

Для величин, измеренных в метрических шкалах (интервальной и абсолютной), эта простая процедура вполне корректна. Однако все существующие инструменты используют шкалу Лайкерта (порядковую шкалу). Для порядковых шкал использование операций сложения, вычитания, умножения или деления для получения агрегированных или комплексных оценок с математической точки зрения некорректно [44].

В шкале Лайкерта очень наглядно проявляется дилемма между простотой измерительных процедур и математической строгостью. В литературе встречаются и аргументируются различные точки зрения на возможности использования шкалы Лайкерта. Эта шкала, как показал еще ее автор, является порядковой (неметрической) шкалой, однако многие исследователи считают возможным использовать ее как интервальную шкалу и применять процедуры для обработки данных, приемлемые для метрических шкал, так как, по их мнению, это не приводит к серьезным ошибкам в результатах. Основными аргументами в пользу такого утверждения являются следующие предположения:

• — интервалы между позициями шкалы Лайкерта в отдельном пункте (вопросе или утверждении) анкеты приблизительно одинаковы;
• — интервалы между позициями шкалы Лайкерта изменяются незначительно при переходе от вопроса к вопросу (от утверждения к утверждению).

Если эти два условия можно считать выполненными, то к шкале Лайкерта могут быть применены процедуры, приемлемые для интервальных шкал.

Подробно неэквивалентность значений позиций шкалы при переходе от пункта к пункту при получении комплексных оценок в шкале Лайкерта продемонстрирована в нашей книге [44]. Ниже мы приведем два примера из этой работы.

Пусть мы имеем в качестве пункта анкеты следующее утверждение: «Члены моей рабочей группы открыты новым идеям». Для респондента А, который в целом согласен с этим утверждением, интервалы между позициями шкалы могут быть, к примеру, такими, как на рисунке 5.6.

Рис. 5.6. Пример неэквивалентности интервалов в шкале Лайкерта.

В этом случае респондент, А с большей вероятностью выберет одну из позиций — ПС («полностью согласен») или С («согласен»), нежели НС («не согласен»), а тем более ПНС («полностью не согласен»), т. е. условие равенства интервалов (даже приблизительное), очевидно, не выполняется. Предположим, что некий респондент В скорее не согласен с предложенным утверждением. Для него интервалы между позициями шкалы могут быть другими (рис. 5.6). Интервал между НС и ПНС для респондента В меньше, чем интервалы между другими позициями. Очевидно, что вычисление среднеарифметического значения для данного случая некорректно.

Аналогично складывается ситуация и с получением комплексных оценок в шкале Лайкерта. Предположим, что измеряемым показателем является «Поддержка творческой инициативы сотрудников руководством компании». Анкета включает два пункта: «Мой руководитель открыт для новых идей» и «Мой руководитель поддерживает мои новые предложения». Очевидно, что эти пункты имеют разный «вес». Поэтому отклик «согласен» при ответе на первый пункт может не соответствовать позиции «согласен» при отклике на второй пункт (одно дело — просто воспринимать новые идеи, другое — их поддерживать). Поэтому объединять отклики на эти пункты в один комплексный показатель путем сложения некорректно.

На практике достаточно сложно обеспечить выполнение двух основных условий (равенство межпозиционных интервалов шкалы и эквивалентность позиций шкалы при переходе от пункта к пункту), для того чтобы шкалу Лайкерта можно было бы считать интервальной. Поэтому получение агрегированных и комплексных оценок по шкале Лайкерта путем вычисления среднеарифметического значения хотя и «работает» с практической точки зрения, но лишено смысла с точки зрения математической. С одной стороны, для получения корректных результатов исследования необходимо обеспечить корректность получаемых измерений и применяемых процедур обработки. С другой стороны, шкала Лайкерта является простым и удобным инструментом для сбора данных. Возможен ли некий компромисс между практическим удобством и математической строгостью? Возможно ли преобразование данных из шкалы Лайкерта в метрическую шкалу?

Одним из самых «сильных» аргументов в пользу метрического характера шкалы является распределение измерений по нормальному закону. Исходным принципом здесь служит предположение о том, что измеряемое свойство распределено в генеральной совокупности в соответствии с нормальным законом. Следовательно, измерение данного свойства также должно обеспечивать нормальное распределение. Если это так, то шкала может считаться по крайней мере интервальной [70]. Если это не так, то измеряемое свойство отражается в не метрической шкале, а, например, в порядковой.

Таким образом, исходным пунктом анализа полученных данных по оценке организационного климата должна быть их проверка на нормальность распределения. Если выборочное распределение не отличается от нормального, то, по мнению многих специалистов, можно считать, что измеряемое свойство отражается в интервальной шкале, что позволяет корректно использовать соответствующие математические и статистические процедуры для их дальнейшей обработки и анализа¹.

Методы проверки нормальности описаны во многих учебниках и учебных пособиях по статистике и статистической обработке данных, например [70]. Процедуры проверки нормальности распределения включены в статистические пакеты SPSS, STATISTIC, А и др. Удобный инструментарий для оценки вида распределения включает в себя программный продукт @Risk, предлагаемый компанией Palisade, специализирующейся на разработке программного обеспечения для принятия решений в условиях риска и неопределенности (www.palisade.com).

Для удобства сравнения результатов исходные данные (raw data) часто приводят к некой стандартной шкале. Наиболее простым и распространенным стандартизующим преобразованием исходных данных является их приведение к гак называемому стандартному^{-распределению} со средним, равным 0, и стандартным отклонением, равным 1:

где г -исходное значение; т — среднее значение по признаку; s — стандартное отклонение по признаку.

Однако такой подход к обоснованию метрического характера измерений принимается не всеми исследователями. Например, А. И. Орлов в одной из своих работ показывает, что в большинстве случаев распределения результатов измерения существенно отличаются от нормальных [74].

В инструментах для оценки организационного климата также часто используется стандартная Т-шкала, связанная с^{-шкалой} простым преобразованием:

Т = z + 50.

Г-распределение имеет среднее, равное 50, и стандартное отклонение, равное 10.

Описанные подходы к нормализации и стандартизации данных имеют все же принципиальный недостаток с точки зрения математической строгости. Они изначально используют процедуры, неприменимые для порядковых шкал (определение среднего значения и стандартного отклонения) по причинам, которые подробно обсуждались выше. Однако обычно считается, что нормализованные данные, полученные в порядковых шкалах, можно рассматривать как интервальные со всеми вытекающими последствиями по применению методов обработки данных.

Процедуру более корректного, хотя и существенно более сложного преобразования данных из шкалы Лайкерта в интервальную шкалу можно осуществить на основе модели Раша (Rasch model), предложенной датским математиком Г. Рашем еще в конце 1950;х гг. Первоначально модель Раша была разработана для оценки способностей (знаний, умений и т. п.), позднее ее также начали использовать для оценки отношений (attitudes) и восприятий (perceptions) [120; 201]. В настоящее время модель Раша наиболее активно применяется в образовательно-педагогической практике (в инструментах тестирования). Впервые использование этой модели для оценки организационного климата было предложено в наших работах [133; 134].

Разработаны специальные программные продукты для конвертирования исходных данных в шкалу Раша и выполнения всех необходимых расчетов (например, WINSTEPS). Процедуры, реализованные в этих программах, достаточно сложны и громоздки для выполнения «вручную». По этой причине мы рекомендуем читателю использовать указанную программу, описание работы с которой дано в нашей книге [44], где также рассмотрены общий подход к реализации подобных процедур и простейший алгоритм преобразования исходных данных в шкалу Раша. Ниже мы приводим лишь краткое описание модели с целью дать представление читателю о возможности ее использования при оценке организационного климата.

Разработка модели Раша была связана с обнаружившимися проблемами представления данных в порядковых шкалах. Вопервых, эти шкалы не обеспечивают линейности (пропорциональности) в представлении данных, а во-вторых, получаемые данные субъективны и ситуативны в том смысле, что они зависят от конкретных респондентов и конкретных вопросов. Изменение набора респондентов и/или набора вопросов в анкете может привести к другим результатам. Г. Раш предложил сравнительно простую модель для «объективного» измерения, которая отчасти снимает эти две проблемы.

В контексте измерения способностей ключевая идея модели Раша может быть сформулирована следующим образом: вероятность правильного ответа на вопрос или задание теста (Р) является функцией способностей (знаний) тестируемого и зависит от способностей (знаний) тестируемого (В) и сложности вопроса (D):

В контексте измерения отношений (оценок) эта идея может быть интерпретирована следующим образом. Вероятность выбора (отклика) определенной позиции пункта анкеты зависит от отношения респондента к пункту (вопросу или утверждению) анкеты и от степени соответствия этого пункта и позиции действительному положению вещей.

Эта базовая идея может быть проиллюстрирована с помощью характеристической кривой заданий теста (или пунктов анкеты). Пусть в тесте задание 2 сложнее задания 1. Тогда при той же подготовленности испытуемого (или при тех же самых знаниях) вероятность правильного ответа на задание 2 будет меньше, чем вероятность правильного ответа на задание 1. Аналогично в случае измерения отношений, если в анкете пункт 2 объективно сложнее для выбора респондента, чем пункт 1, то при одном и том же отношении респондента к предмету' исследования вероятность выбора пункта 2 будет меньше, чем вероятность выбора пункта 1 (рис. 5.7).

Единицей шкалы Раша является «логит» (d):

Здесь Р — вероятность правильного ответа на вопрос или (в контексте измерения отношений) вероятность выбора пункта (позиции)анкеты.

Рис. 5.7. Характеристическая кривая.

Чем больше вероятность правильного ответа на вопрос испытуемым, тем большее значение по шкале Раша он имеет. Аналогично, чем больше вероятность выбора респондентом того или иного пункта в анкете (что определяется объективными условиями — в данном случае организационным климатом), тем большее значение будет присвоено этому пункту.

На практике при получении данных в шкале Раша вместо вероятностей используют частоты откликов, т. е. чем чаще тестируемый отвечает правильно, тем выше его показатель в шкале Раша. Аналогично, чем чаще выбирается тот или иной пункт анкеты, тем большее значение ему будет присвоено. При таком механизме конвергирования данных пункты анкеты, которые каким-либо респондентом оставлены без ответа, не представляют трудностей при использовании модели Раша, они не критичны для обработки данных.

Единица измерения шкалы Раша имеет стандартизованный характер, что дает возможность объективно сравнить результаты, полученные по разным инструментам и выборкам. Шкала Раша является интервальной, что обеспечивает возможность корректного применения большинства математических операций. Теоретически измерения по шкале Раша не зависят от выборки респондентов (sample free measurement) и набора вопросов (item free calibration). Это свойство позволяет специалистам в области теории измерений называть шкалу Раша «объективной» измерительной шкалой (objective measurement) и сравнивать ее со шкалами, используемыми в точных и естественных науках, например, в физике. Таким образом, представление данных в шкале Раша, во-первых, положительно отражается на качестве результатов измерения, а во-вторых, следует принципу объективности как одного из критериев научного исследования.

При оценке каждого фактора организационного климата нужно определить его количественное выражение по шкале Раша на основе откликов респондентов на каждый пункт, соответствующий данному фактору. Для каждого пункта определяется значение в логитах и затем по ним вычисляется среднеарифметическое значение (для шкалы Раша эта процедура вполне корректна).

Определенную сложность вызывает интерпретация результатов измерений климата в шкале Раша. При позитивно сформулированных пунктах анкеты (например: «Члены моего коллектива доверяют друг другу») и при соответствующей кодировке позиций шкалы (более утвердительным ответам соответствует больший балл), конвертирование данных с помощью программы WINSTEPS приведет к тому, что пункты, оцененные большим баллом, будут характеризовать более «холодный» климат. Поэтому для более естественной интерпретации результаты измерений в шкале Раша при оценке организационного климата следует умножить на -1.

В этом случае значение 0 можно интерпретировать как соответствие «нейтральному» (или «умеренному») климату (50% «положительных» и 50% «отрицательных» откликов), значение 2,94 соответствует 95% положительных и 5% отрицательных откликов и т. д. Иначе значение 2,94 может быть интерпретировано как показатель организационного климата, в котором 95% положительных факторов для творчества и инноваций и лишь 5% отрицательных факторов. Значение -2,94 соответствует резко отрицательному («холодному») климату для творчества и инноваций (см. рис. 5.8). Нулевое значение, получаемое при оценке какого-либо факторапараметра организационного климата, можно понимать так, что этот фактор реализован на 50% от максимально возможного уровня, а при значении 2,94 — на 95% (см. рис. 5.8).

Такая интерпретация, безусловно, менее удобна, наглядна и привычна, чем интерпретация результатов на основе шкалы Лайкерта. Это обстоятельство, наряду со сложностью математических операций по конвертированию данных, ограничивает широкое практическое применение модели Раша. Качество оценки климата.

(в том числе точность измерений) повышается при использовании шкалы Раша по сравнению со шкалой Лайкерта, но принципиальные различия в результатах оценки по двум шкалам маловероятны (не получится так, что климат, оцененный по одной шкале как «очень благоприятный», по другой шкале получит противоположную оценку).

Рис. 5.8. Интерпретация шкалы Раша.

Во многих случаях на практике для получения «общей картины» об организационном климате и принятия соответствующих управленческих решений, касающихся его изменения, достаточно точности, обеспечиваемой шкалой Лайкерта. Модель Раша следует рассматривать и использовать не как альтернативный инструмент, а как подход, дополняющий классический (основанный на шкале Лайкерта) с целью дополнительной проверки и улучшения качества полученных измерений (см. ниже). Модель целесообразно использовать в тех случаях, когда требуется особо точная и надежная оценка климата, в том числе в исследовательских целях.