Корреляционный анализ1. 
Маркетинговый анализ: технология и методы проведения

Если нам вдруг понадобится рассчитать время t доставки груза из одного пункта в другой при известных расстоянии S и средней скорости V движения, мы воспользуемся законом равномерного движения S = Vt. Этот закон является примером функциональной зависимости между пройденным путем и временем движения при условии постоянной скорости. Иными словами, в этом случае путь есть функция времени. В общем случае, когда каждому значению нескольких факторных признаков, характеризующих изучаемый объект, сопоставлено вполне определенное значение результативного признака, говорят о функциональной зависимости между такими переменными.

Однако в экономике в большинстве случаев связь между экономическими переменными не является функциональной — каждому значению одной переменной (или нескольких) может соответствовать не одно какое-то определенное, а множество возможных значений другой, результативной, переменной. В этом случае говорят о статистической (стохастической) взаимосвязи. Ее появление обусловлено как влиянием на зависимую переменную ряда неконтролируемых или неучтенных факторов, так и случайными ошибками, которые неизбежно сопровождают измерения значений переменных^[1][2].

Неоднозначность статистической зависимости, например, между величинами Y и X, приводит нас к необходимости подобрать (с учетом специфики и природы анализируемых переменных) походящий измеритель тесноты статистической связи (ковариация, коэффициент корреляции, корреляционное отношение, ранговый коэффициент корреляции и т. п.).

Следует уяснить: главное отличие корреляционных зависимостей от функциональных заключается в том, что корреляционная зависимость устанавливает лишь наличие тенденции изменения результативного признака при фактических (заметим, измеренных с некоторой ошибкой) изменениях значения факторного признака. Массовое наблюдение фактических данных приводит к выводу, что воздействие каждого из факторов проявляется результативно лишь в среднем. Большое количество самых разнообразных факторов, одновременно воздействуя на изучаемый признак, приводит к тому, что даже одному и тому же значению выбранного фактора соответствует некоторое статистическое распределение значений результативного показателя, так как интенсивность и направленность воздействия неучтенных факторов может существенно изменять сложившуюся картину наблюдений.

Статистические распределения показателя обусловлены наличием более или менее значительной вариации значений отдельных единиц совокупности. Например, статистическое распределение уровня производительности труда работников предприятий можно объяснить зависимостью этого показателя от вариации степени совершенства таких факторов производственного процесса, как применяемое оборудование и технологии, организация производства, труда и управления и т. п. Более того, вариация каждого изучаемого признака находится в тесной связи и взаимодействии с вариацией других признаков-факторов, которые характеризуют исследуемую совокупность единиц. Вопрос о степени статистической тесноты таких взаимодействий как раз и составляет содержание теории корреляции.

Таким образом, на практике в условиях стохастической (вероятностной) природы экономических данных прежде, чем строить модель, важно выяснить, существует ли статистическая зависимость между некоторыми наблюдаемыми экономическими величинами. А если она существует, то какая — сильная или слабая, положительная или отрицательная. Для выяснения этих обстоятельств используется корреляционный анализ. Его основной задачей является выявление тесноты статистической взаимосвязи между переменными, содержащими стохастическую составляющую, с помощью точечной и интервальной оценки парных (частных) коэффициентов корреляции, вычисления и проверки значимости множественных коэффициентов корреляции и детерминации. На основании таких проверок корреляционный анализ позволяет осуществить отбор тех факторов, которые оказывают наиболее существенное влияние на результативный признак, опираясь на стандартные статистические методы измерения тесноты связи между ними. Несмотря на то, что хотя корреляция непосредственно не выявляет причинных связей между параметрами, с помощью корреляционного анализа можно обнаружить ранее неизвестные причинные связи, исходя из численного значение тесноты этих связей и достоверности суждений об их наличии.

Знакомство с вузовским курсом теории вероятностей и математической статистики дает нам возможность профессионально использовать такие статистические инструменты исследования, как ковариация и коэффициент корреляции. Как известно, для двух переменных Y и X теоретические — т. е. для генеральной совокупности — значения этих характеристик имеют вид.

где а_у и а_х — среднеквадратические (стандартные) отклонения переменных Y иХ от своих математических ожиданий ц_у и ц_Л.

В случае выборки объема п из генеральной совокупности рассчитывают выборочные коэффициенты ковариации и корреляции

Здесь у и х — несмещенные оценки средних значений переменных Y и X; в формуле (7.50) речь идет о выборочной оценке ковариации; в знаменателе формулы (7.51) стоят соответствующие несмещенные оценки стандартных отклонений.

Заметим, что формула (7.51) чаще всего встречается в виде

Замечание. В соотношениях (определениях) (7.49), (7.51), (7.52) речь идет о коэффициенте парной корреляции, характеризующем тесноту линейной статистической связи. Он удобнее для подобных оценок, чем ковариация. Его значения не имеют наименований и по модулю не превосходят единицы: |р_у>Л.|<1 или|г_{У (Х}|<1. При этом корреляционная связь отсутствует, если коэффициент парной корреляции принимает нулевое значение. Если же он принимает крайние значения (+1 или -1), то корреляционная связь вырождается в линейную функциональную связь (соответственно, прямую или обратную).

В практических расчетах коэффициент р_У;Х, как правило, остается неизвестным. Аналитик может рассчитать только его точечную оценку — выборочный коэффициент парной, заметим, линейной корреляции г_{у х}. Причем, из того, что выборочная совокупность переменных У и X случайна, следует, что и г_{у х} (в отличие от р_уд) тоже является случайной величиной. В этой связи, получив точечную оценку коэффициента корреляции, важно убедиться в его статистической значимости. Для этого выдвигаем нулевую гипотезу Н₀: г_{у х} — 0 ~ 0, которая утверждает, что вычисленная оценка коэффициента корреляции статистически незначимо отличается от нуля, т. е. на самом деле никакой корреляционной связи нет. Как уже отмечалось выше (см. проверка адекватности и точности трендовой модели, п. 3) проверка гипотезы выполняется с помощью сравнения эмпирической t-статистики (7.53).

с критическим значением t-статистики t_{a v}. На выбранном уровне значимости а нулевая гипотеза принимается (строго говоря, не отклоняется) при выполнении неравенства t av. Если выполняется неравенство t_{a>a v} — является критерием распределения Стьюдента, соответствующим доверительной вероятности P = (l-a) иу=(1-п) степеням свободы.

Замечание. Если распределения данных отличатся от нормального, применение выборочного коэффициента парной корреляции может привести к ошибкам. Либо мы получим ложную корреляцию (ошибка I рода — отвергнута истинная нулевая гипотеза), либо мы «не заметим» наличие корреляционной связи (ошибка II рода — не отвергнута ложная гипотеза).

Таблица 7.17.

Шкала Чеддока.

Установив статистическую значимость коэффициента парной корреляции, мы оказываемся перед проблемой, как по его численному значению судить о степени тесноты связи между исследуемыми переменными. Можно руководствоваться следующей шкалой (см. табл. 7.17).

На основании этой таблицы можно сделать вывод о том, что между исследуемыми переменными имеет место достаточно тесная статистическая взаимосвязь, если выполняется неравенство г_{у х} >0,5 .

Замечание. Удобным графическим средством анализа данных является корреляционное поле, или диаграмма рассеяния (scatterplot), на которой в прямоугольной системе координат располагаются точки, соответствующие значениям наблюдаемых переменных.

Пример 7.12. Пусть, например, мы вместе с английским эконометристом С. Лизером собрали статистическую информацию о величине сбережений S_t домашних хозяйств Соединенного Королевства и уровне их располагаемого дохода DPI_t (disposable personal income) за отрезок времени с 1946 по 1962 гг. (для краткости введено обозначение Y₍ =DPl₍). Эти значения, выраженные в миллиардах фунтов стерлингов (в ценах базисного года), приведены в табл. 7.18 (см. пример 7.17). Построенная по этим данным диаграмма рассеяния представлена на рис. 7.19.

Таблица 7.18

Рис. 7.19. Диаграмма рассеяния переменных S, и DPI_t

Пример 7.13. Известный английский эконометрист С. Лизер поставил задачу построения модели, которая давала бы возможность объяснить величину сбережений S_t домашних хозяйств Соединенного Королевства в текущем году t текущим уровнем Y_t их располагаемого дохода (для краткости введено обозначение Y_t -DPI_t). Для решения данной задачи С. Лизер собрал статистическую информацию об объекте-оригинале в виде конкретных годовых значений величин S_t и Y_t за отрезок времени с 1946 по 1962 гг. Их значения, выраженные в миллиардах фунтов стерлингов (в ценах базисного года), приведены в табл. 7.18.

Как известно, С. Лизер по этим данным специфицировал модель в виде S_c=bY_t²+ s_t, b> 0. Зададим себе вопрос, почему он выбрал параболическую, а не линейную модель?

Решение. Оценим тесноту статистической связи между S_t и Y_t, а также между S, и Y_t² с помощью соответствующих коэффициентов корреляции: r_sy =0,958 и r_sy2 =0,974. То обстоятельство, что во втором случае связь оказывается более тесной, подтверждают соответствующие корреляционные поля, представленные на рис. 7.20. Очевидно, исследователь искал форму связи с наибольшим коэффициентом парной корреляции Т^[3]

Рис. 7.20. Диаграммы рассеяния для визуального сопоставления.

тесноты связи Пример 7.14. Оценить тесноту связи случайных величин А и В смоделированных с помощью генератора случайных чисел (см. табл. 7.19)Т.

Таблица 7.19

Значения случайных величин

Решение. Оценим тесноту связи с помощью коэффициента корреляции г_{у х} =0,118. В соответствие с таблицей 7.19 статистическую связь следует признать слабой. Оценим ее значимость, сравнивая эмпирическое значение t-статистики t = 0,336 с табличным t_{0 05;8} =2,306 для доверительной вероятности р = 0,95: tг_ух =0,118 статистически незначим, принимается на уровне значимости, а = 0,05. Тот же самый вывод следует из визуального анализа диаграммы рассеяния (см. рис. 7.21).

Теперь покажем в общем виде, как организуется запись результатов соответствующего исследования. Если фактор времени не включать в модель в явном виде, то можно построить следующую таблицу (табл. 7.20).^[4]

Рис. 7.21. Диаграмма рассеяния случайных величин Лив.

Таблица 7.20

Схема построения матрицы коэффициентов парной корреляции.

Представленные в этой таблице коэффициенты парной корреляции принято называть матрицей коэффициентов парной корреляции. Именно в таком виде оформлены результаты расчетов, выполняемых в MS EXCEL инструментом корреляция из надстройки Пакет Анализа.

Обычно матрицу коэффициентов парной корреляции обозначают буквой 9Я и записывают не в табличной, а собственно матричной форме.

В частном случае, когда изучаются связи только трех экономических переменных, удобнее бывает обозначить результативный показатель через Y, а факторы —X и Z. Тогда матрица коэффициентов парных корреляций запишется в виде.

Причем для трехмерной (многомерной) корреляционной модели важную роль играют частные и множественные коэффициенты кор- реляцииТТак, в многомерном корреляционном анализе рассматриваются, например, задачи: а) определения тесноты статистической связи одной экономической переменной, в частности результативного показателя, с совокупностью остальных (факторов), включенных в анализ; б) определения тесноты связи между величинами при фиксировании или исключении влияния остальных величин.

Для матрицы (7.55) выборочный коэффициент множественный корреляции R_{y (xz)} рассчитывается по формуле.

где в числителе дроби находится определитель матрицы (7.2.8), а в знаменателе — алгебраическое дополнение к первому элементу г_у>у этой матрицы. В свернутой записи формула (7.56) приобретает вид.

Эту формулу можно обобщить на случай (m +1) переменных, в число которых входят, например, результативный показатель У. иш факторов у (1) у (2) у (т).

¹ Множественный коэффициент корреляции, возведенный в квадрат, носит название коэффициента детерминации.

где матрица JR имеет вид.

Оценка значимости коэффициента множественной корреляции — проверка нулевой гипотезы — осуществляется с помощью F-распределения. Для этого строится эмпирическое значение критерия Фишера

которое сравнивается с табличным значением критерия F_{a >VJ >V2} для выбранного уровня значимости, а при Vj = m и v₂=(n-m-1). Если выполняется соотношение F>F_0jVbV2, то нулевая гипотеза не принимается, т. е. выборочный коэффициент множественной корреляции (а значит, и коэффициент детерминации) статистически значимо отличается от нуля.

Помимо выборочного коэффициента множественной регрессии важную роль в корреляционном анализе играет так называемый частный коэффициент корреляции. Он применяется в тех случаях, когда при изучении корреляции возникает необходимость исключения влияния некоторых экономических переменных на связь между другими переменными. Этот коэффициент может быть весьма полезен при ранжировании факторов, участвующих в построении множественной линейной регрессии. Кроме того, частные показатели корреляции широко используются при решении проблем отбора факторов — целесообразность включения фактора в модель обосновывается значением его частного коэффициента корреляции.

где в числителе находится алгебраическое дополнение для элемента r_y jc(i) в определителе корреляционной матрицы (7.59), а в знамена;

Выборочный частный коэффициент корреляции — например, между результативным показателем Y_t и фактором при фиксированных значениях всех остальных переменных Xp— определяется формулой теле — алгебраические дополнения для элементов г_уу и г_хт хт ; косой чертой отделяются переменные, значения которых фиксированы.

Частный коэффициент корреляции, так же как и коэффициент парной корреляции, изменяется от -1 до +1.

• [1] Излагаемый в этой главе материал впервые был опубликован автором в 2001 г. в учебно-методическом издании «Эконометрика: Программа и методические указанияпо выполнению контрольной работы / В. А. Половников, И. В. Орлова, А. И. Пилипенко. —М.: ЗАО „Финстатинформ“, 2001. — 68 с. (Тема 3. Модели и методы корреляционнорегрессионного анализа — совместно с И. В. Орловой)». В 2005 г. в учебно-методическомиздании «Эконометрика: Методические указания по изучению дисциплины и выполнению контрольной и аудиторной работы на ПЭВМ / В. А. Половников, И. В. Орлова, А. И. Пилипенко и др. — М.: Вузовский учебник, 2005. — 122 с. (Тема 3. Парная регрессия и корреляция: раздел 3.1. Корреляционный анализ — совместно с И. В. Орловой).В настоящее время это издание широко используется в Интернет в качестве материалов для студентов, например, полностью представлено в http://www.100balov.com/data/rus/Drygoe/35/metodichka_econometric.doc#l с корректной ссылкой на авторов. Предлагаемый вниманию читателя материал излагается в дополненном и исправленном виде по публикации Пилипенко А. И. Эконометрика: учеб.-метод, комплекс. — М. :АТиСО, 2008. — 135 с. (Тема 2. Корреляционный анализ).
• [2] Чтобы уйти от неоднозначности статистической зависимости, например, междувеличинами Y иХ, можно использовать функциональную зависимость между значениями одной из них (фактора X) и условным математическим ожиданием другой (результативного показателя У): Мх (У) = ф (х) В общем случае такая зависимость называетсякорреляционной.
• [3] Выполненное исследование можно распространить на изучение тесноты линейнойсвязи между результативным показателем и каждым из факторов, которые мы намерены включить в модель, а также попарно между факторами. Такое изучение необходимо провести, например, с целью выявления реального (значимого) влияния факторовна зависимую экономическую переменную. Это важно для правильного отбора экономических переменных, включаемых в модель. Может оказаться, что корреляционнаясвязь результативного показателя с некоторыми факторами, вроде бы вопреки здравомусмыслу, статистически незначима. С другой стороны, связь между некоторыми факторами может оказаться теснее, чем связь результативного показателя с каждым из этихфакторов (явление мультиколлинеарности).
• [4] Из различных наборов случайных чисел, сгенерированных в MS EXCEL, мы специально отобрали те, для которых коэффициент корреляции не меньше 0,1.