Оценка канонических корреляций и канонических величин

Пусть дан случайный вектор X размерности центрированных величин , имеющий нулевое математическое ожидание (MX = 0) и ковариационную матрицу Вектор X разбивается на два подвектора размерностей и , т. е. , причем , а ковариационная матрица — на подматрицы.

где  — ковариационная матрица, характеризующая взаимосвязь результативных показателей, элементами которой являются коэффициенты ковариации.

 — ковариационная матрица, характеризующая взаимосвязь определяющих показателей (аргументов);  — ковариационная матрица размерности , характеризующая взаимосвязь показателей первой и второй групп ().

Рассмотрим линейные комбинации вида компонент вектора и компонент вектора , где и  — векторы размерности соответственно и

Математические ожидания U и V равны нулю:

(3.6).

Выберем векторы и так, чтобы дисперсии величин V и U были равны единице:

(3.7).

Таким образом, U и V — нормированные случайные величины.

Коэффициент корреляции между U и V составляет.

(3.8).

Задача состоит в определении векторов и , при которых выражение (3.8) достигает максимума при условиях (3.6) и (3.7).

Применим метод множителей Лагранжа. Пусть , µ - множители Лагранжа, тогда функция Лагранжа определяется выражением.

Продифференцируем функцию у, но компонентам векторов и . Приравняв векторы производных нулю, получим.

(3.9).

Умножив выражения (3.9) слева соответственно на и , получим.

(3.10).

Из условий (3.6) и (3.7) следует, что . Тогда

Перепишем выражение (3.9):

(3.11).

С учетом равенства выражение (3.11) запишем в матричном виде:

(3.12).

Для того чтобы решение удовлетворяло требованиям (3.6) и (3.7), т. е. существовало нетривиальное решение, матрица слева должна быть вырожденной, а ее определитель — равен нулю:

(3.13).

Определитель в равенстве (3.13) представляет собой многочлен степени р относительно X. Он имеетр корней

Из выражения (3.10) очевидно, что . Тогда X равно коэффициенту корреляции между и , где, а и р удовлетворяют уравнению (3.12) при некотором значении X.

Нам же требуется определить максимальный коэффициент корреляции. Пусть это будет значение . Решение уравнения (3.12) при представляет собой и . Тогда можно записать, что.

Следовательно, [/, и Vt являются нормированными линейными комбинациями компонентов векторов ХО и Х<2> соответственно, а коэффициент корреляции между ними максимален.

Определим линейные комбинации векторов ЛП) и Х<2> от второй до г-й. Пусть это будет.

Получено г линейных комбинаций для U и V, для которых имеются г коэффициентов корреляции, являющихся корнями уравнения (3.13):

Линейные комбинации Ur и Е, некоррелированы с , и их коэффициент корреляции больше коэффициента корреляции между двумя линейными комбинациями, некоррелированными с

Запишем условие некоррелированности для U и ¢/:

Определим условия некоррелированности для U, и V, а также для U и V).

Если , то , следовательно,

Если то и равенство также выполняется.

Условие некоррелированности V и Vt имеет вид.

Условие некоррелированности U и Vt запишется как.

Отметим, что корни уравнения (3.13) при и составляют матрицу.

так как число линейно независимых комбинаций не может превзойти , а по условию

Канонические корреляции и их интерпретация. Пусть , где вектор Х — ^-мерный; вектор Х — &2~мерный;

Тогда r-й парой канонических величин является пара линейных комбинаций , каждая из которых имеет единичную дисперсию и некоррелирована с г — 1 парами канонических величин.

Коэффициент корреляции между элементами этой пары максимален. Этот коэффициент корреляции называется г-иы канонической корреляцией.

Коэффициенты в линейных комбинациях и , определяющие г-ю пару канонических величин, удовлетворяют уравнению (3.12) при условии X = X,. и выполнении соотношений (3.6) и (3.7).

Рассмотрим интерпретацию канонических корреляций.

Даны две случайные величины U и Vco средними значениями, равными нулю (MU = MV = 0), дисперсиями и и коэффициентом корреляции р.

При помощи bU, где b — множитель, найдем приближение величины V. Определим среднюю квадратическую ошибку приближения:

Данная ошибка достигает минимума в случае.

Величина bU представляет собой линейную оценку величины V по значениям величины U, тогда равна дисперсии оценки.

Отношение дисперсии ошибки предсказания к дисперсии величины V равно.

(3.14).

и т.д.

Величина (3.14) является мерой относительного влияния U на V, или мерой относительной эффективности величины U при предсказании V.

Следовательно, чем больше или тем более точно можно по величине U оценить величину V.

Рассмотрим теперь вектор .

Пусть линейная комбинация служит для предсказания линейной комбинации '.

Величина U будет наилучшим образом предсказывать величину V, если коэффициент корреляции между U и V максимален. Следовательно, можем утверждать, что представляет собой линейную комбинацию компонент , которую можно наилучшим образом предсказать. Такое наилучшее предсказание осуществляется с помощью комбинации

За меру точности определения величины U по V можно взять.

Мерой относительного эффекта может служить выражение.

Максимальный эффект, который может оказывать линейная комбинация компонент вектора на линейную комбинацию компонент вектора , оказывает на

Рассмотрим частный случай, когда к, = 1. Тогда единственная каноническая корреляция представляет собой вектор множественной корреляции между

Оценка канонических корреляций и канонических величин. Пусть  — п наблюдений над совокупностью.

Пусть вектор X разбит на два подвектора размерностей k1 и к2 соответственно. Тогда имеем .

Оценками наибольшего правдоподобия для величин () являются корни уравнения (3.12).

Векторы и удовлетворяют уравнениям.

Канонический анализ, как и компонентный анализ, реализуется в форме задачи нахождения собственных значений и собственных векторов от некоторой функции корреляционной матрицы исходных признаков , где и  — корреляционные матрицы групп результативных признаков и показателей-аргументов (их размерности соответственно равны  — матрица взаимных корреляций первой и второй групп;

Собственные значения матрицы R, ранжированные по убыванию, равняются квадратам канонических корреляций , левые и правые собственные векторы — соответствующим каноническим переменным групп исходных признаков Х и показателей Х.

С точки зрения канонического анализа обе группы равноценны.

Для разрешимости задачи требуется, чтобы корреляционные матрицы R, и R22 были положительно определены, т. е. в соответствующей группе не должны существовать линейно зависимые признаки (показатели). В противном случае следует один или несколько признаков-показателей исключить из рассмотрения.

Канонические переменные обладают следующими свойствами.

• • Канонические переменные являются линейными комбинациями исходных показателей соответствующих групп.
• • Канонические переменные выбраны таким образом, чтобы соответствующие канонические корреляции были максимальны.
• • Канонические переменные одной группы взаимно некоррслированы.
• • Канонические переменные упорядочены по мере убывания соответствующих канонических корреляций.
• • Число используемых канонических корреляций обычно значительно меньше числа исследуемых показателей.
• • Канонические корреляции всегда неотрицательны, причем их основные свойства совпадают со свойствами обыкновенных множественных коэффициентов корреляций. Чем больше канонические корреляции, тем сильнее связаны рассматриваемые группы признаков АЧ) и показателей Х(2

Значимость канонических переменных (или, что-то же, отличие от нуля канонических корреляций) проверяется при помощи критерия . Если вычислено канонических корреляций, то для каждого следует проверить гипотезы (т.е. все канонические корреляции начиная с равняются нулю), (по крайней мере отличается от нуля).

При этом учитывается, что

Вычисление статистики для каждой из канонических корреляций предусмотрено программой канонического анализа и определяется по формуле.

где N — объем выборки;  — оценка канонического коэффициента детерминации.

Если значение больше критического при выбранном уровне значимости а (например, 0,05) и числе степеней свободы , то принимается гипотеза Н'" . Процедура повторяется для следующей -й канонической корреляции. Если вычисленное значение -статистики меньше соответствующего табличного значения, то нулевая гипотеза не отвергается, т. е. зависимость между группами исследуемых признаков показателей уже описана каноническими переменными с индексами 1,2,… т.

Если при некотором значении т0 нулевая гипотеза не отвергается, т. е. каноническая корреляция равна нулю, то равны нулю и все последующие при

Следует интерпретировать только такие канонические переменные, которые соответствуют значимым (отличным от нуля) каноническим корреляциям. При интерпретации результатов можно использовать ту же схему, что и в компонентном анализе.

В процессе канонического анализа исходные данные и приводятся к стандартизированному виду, поэтому коэффициенты в выражениях для канонических переменных характеризуют силу влияния соответствующих исходных признаков и показателей, что позволяет получить их ранжированные последовательности. Отбрасывание несущественных переменных может осуществляться на основе многошаговой процедуры, при которой на каждом шаге из анализа удаляется только одна переменная, наименее существенная в исходной последовательности. Для сравнения канонических корреляций исходного и наборов факторов используются Z-преобразование Фишера и критерий.

(3.15).

где имеет нормированный нормальный закон распределения; / - индекс, относящийся к признакам вектора .ХП).

Если канонические корреляции и отличаются незначимо, процесс сокращения продолжается.

При каноническом анализе процедура отсева учитывает всю сложность структуры связей как внутри групп признаков и показателей, так и между этими группами. Признак, значимо влияющий хотя бы на один показатель и являющийся незначимым для других, уже не может быть отброшен. Процедура отсева основывается на принципе дополнительности: признаки исключаются с учетом того, какие показатели исключаются.

Достаточно компактная, максимально информативная система исходных признаков и показателей, полученная при помощи метода канонического анализа, может служить основой для дальнейших исследований при помощи методов регрессионного, компонентного и факторного анализа.

Для статистического анализа эффективности подземной угледобычи была собрана информация по 30 угольным шахтам. В качестве исходных параметров были отобраны восемь показателей эффективности угледобычи и 19 признаков, ее определяющих.

Пример 3.11 [13]

Показатели эффективности угледобычи:

у1 — выработка валовой продукции на одного работающего, т;

у2 — среднемесячная производительность труда рабочего по добыче угля, т;

у3 - среднемесячная производительность труда промышленно-производственного персонала по добыче угля, т;

у4 - среднемесячная производительность труда одного рабочего на очистных работах, т;

у5 — полная себестоимость добычи 1 т угля;

у6 - фондоотдача;

у7 - фондоемкость;

у8 - трудоемкость работ по добыче, чел/дии на 1000 т.

Признаки, определяющие эффективность угледобычи:

x1 — среднесуточная добыча угля (нагрузка на шахту), т; х2 - среднединамическая мощность пласта; x3 — максимальная глубина разработки, м; x4 — приток воды в шахту, м3/ч;

x5 - количество метана на 1 т среднемесячной добычи, м3;

x6 — среднесуточная нагрузка на забой, т;

x7 — среднедействующая длина линии очистных забоев, м;

x8 — среднемесячное продвижение линии действующих очистных забоев, м; x9 — удельный вес добычи угля из комплексно-механизированных забоев по отношению ко всей добыче из очистных забоев, м;

x10 — удельный вес комбайновой проходки выработок, %; x11 — удельный объем проведения подготовительных выработок на 1000 г добычи, м3; x12 — удельный объем выработок, закрепленных металлической и железобетонной крепью, %;

x13 — протяженность выработок на 1000 т добычи, м;

x14 — среднемесячная производительность работающего электровоза, тыс. км;

x15 — протяженность действующих рельсовых путей, км;

x16 — удельный вес забалластированных рельсовых путей, %;

x17 — удельная емкость вагонеточного парка на 1000 т среднесуточной выработки, т; x18 — объем породы на 1000 т добычи, т; x19 — зольность угля, %.

Вычислим первую пару канонических величин и каноническую корреляцию по признакам, определяющим эффективность угледобычи (). и показателям эффективности ().

Решение

В качестве исходных групп возьмем три произвольных показателя эффективности угледобычи () и 19 признаков, ее определяющих. Получим три пары канонических переменных. Первая пара канонических переменных имеет вид.

Для удобства примем

Величина соответствующей канонической корреляции составляет 0,93 523; вычисленное значение , которое превосходит . Таким образом, первая каноническая корреляция значима. Для второй пары канонических переменных величина канонической корреляции равна 0,81 420, вычисленное значение меньше , поэтому вторая (а следовательно, и третья) каноническая корреляция незначимая.

Пример 3.12

Используя данные примера 3.11, проведем сокращение числа показателей, определяющих эффективность угледобычи, при помощи канонического анализа.

Решение

Для сокращения исходного набора признаков составим их ранжированную по силе влияния в первой канонической компоненте последовательность:

Наименее значимыми в данной последовательности оказались признаки . Поскольку порядок признаков, расположенных в хвосте последовательности, случаен, то исходя из эффективности производства на первом шаге решено оставить признак дг13 — протяженность выборок на 1000 т добычи, а признаки и исключить.

Таким образом, на втором шаге рассматривалась зависимость между набором из 15 признаков и тремя показателями эффективности угледобычи. Значимой оказалась только первая каноническая корреляция, равная 0,93 518. Для сравнения канонических корреляций исходного и сокращенного наборов использовались.

/-преобразование Фишера и критерий (3.15). В нашем случае поэтому для

Согласно критерию (3.15) различие между каноническими корреляциями исходного и сокращенного наборов признаков незначимо. Анализ канонической переменной, полученной на втором шаге, показал, что наименьшее влияние на показатели эффективности оказывает признак . Поэтому признак исключаем из дальнейшего рассмотрения.

Данные, характеризующие процедуру сокращения исходного набора признаков при помощи канонического анализа, приведены в табл. 3.9.

Таблица 3.9

Сокращение исходного набора признаков при помощи метода канонического анализа

Номер шага.	Число переменных.	Каноническая корреляция.		Удаление переменных.
		0,93 523.
		0,93 518.	0,0040.
		0,93 466.	0,0145.
		0,93 286.	0,0187.
		0,93 213.	0,0241.
		0,93 210.	0,0244.
		0,93 178.	0,0268.

Как очевидно из табл. 3.9, сокращение исходного набора признаков с 17 до 10 не привело к значимому различию соответствующих канонических корреляций. Канонические переменные, полученные на последнем шаге, имеют вид.

Если интерпретировать вторую каноническую переменную как показатель уровня эффективности производства, то направление влияния всех признаков первой канонической переменной соответствует увеличению общего уровня эффективности подземной угледобычи.

Ранжированная последовательность признаков, влияющих на показатели эффективности производственной деятельности шахт, имеет вид.

Сравнение данной ранжировки с проведенной вначале показывает, что группа факторов, оказывающих существенное влияние на показатели эффективности, после сокращения осталась без изменений, хотя их порядок в ранжированной последовательности несколько изменился. В эту группу входят признаки, характеризующие горно-геологические условия производства, — ; работу внутри шахтного транспорта — ; очистные работы — .

Характеристики статистической связи, рассматриваемые в корреляционном анализе, используются в качестве входной информации при определении вида зависимости; снижении размерности анализируемого признакового пространства; классификации объектов и признаков и др. В связи с этим с корреляционного анализа начинаются все многомерные статистические исследования.