Ф3. 3. 1. Табличная регрессия: формулировки

Если количественный признак у задан без какой-либо дополнительной информации, то среднее значение этого признака, определяемое по формуле у-^У/1 Л".

/€/.

представляет собой разумную суммаризацию имеющихся данных. Однако если становятся известными категории номинального признака х, то можно получить более детальную информацию: средние значения у в категориях. Обозначим через S_k множество объектов в категории к признака х. Среднее значение внутри этой категории равно у_к = X Vi/^k I •.

ieS_k

Эти средние можно считать решением уравнения табличной регрессии по методу наименьших квадратов. Подход восстановления данных применительно к этой ситуации можно сформулировать следующим образом. Найдем внутригрупповые центральные значения с_к так, чтобы минимизировать суммарную квадратичную ошибку L = Z, —_€/0, —², где = г/, — с_к — невязка уравнения.

«декодирующего» каждое наблюденное значение у характеристическим числом с_к, представляющим категорию к (к =1,2,…, К).

Это уравнение лежит в основе табличной регрессии, называемой также кусочно-постоянной регрессией. Нетрудно показать, что оптимальная по критерию наименьших квадратов величина с_к в уравнении (3.11) равна среднему значению внутри категории у_к. Отсюда следует, что минимальное значение.

к _

критерия L равно L_m = X X (.?/ ~Уk)²- Разделив и умножив внутреннюю сумму.

k= ieSfc

на |S_k — число элементов в множестве 5_А" можно увидеть, что L_m = Na²_w, где g²_w — внутригрупповая (within-group) дисперсия, определяемая формулой средневзвешенного среднего дисперсий у во всех rDvnnax:

где p_k = S_k/ N доля категории k, a G²_k дисперсия y_k в S_k.

Для дальнейшего анализа рассмотрим тождество.

и просуммируем его по всем i е S_k:

Суммируя эти уравнения, но k и перенося последнее выражение из правой части уравнения в левую, получим.

Справа в уравнении (3.13) стоит сумма квадратов невязок модели (3.11) L_m. Это позволяет интерпретировать уравнение (3.13) как декомпозицию квадратичного разброса переменной у эта величина (слева) разделяется на два слагаемых (справа), называемых объясненной и необъяснснной частями квадратичного разброса.

Объясненная часть суммирует вклады |S_k y_k²отдельных категорий /е. Величина вклада пропорциональна и частоте категории, и квадрату среднего: чем больше эти значения, тем выше вклад. Еще одна интерпретация декомпозиции (3.13) может быть сделана, если признак у центрирован, так что его среднее значение равно нулю. В этом случае, разделив уравнение (3.13) на N, получим.

где ст² — дисперсия у, самая правая сумма — минимальное значение L_rn/Nm уравнения (3.12), а левая сумма — это взвешенная сумма квадратов расстояний между общим средним у — 0 и средними внутригрупповыми значениями y_k.

В статистике уравнение (3.14) хорошо известно как разложение дисперсии на внутригрупповую и межгрупповую составляющие. Оно лежит в основе широко используемого метода сравнения средних внутригрупповых значений, называемого дисперсионный анализ, по-английски ANOVA (ANalysis Of VAriance). В контексте модели табличной регрессии (3.11), имеющей смысл модели восстановления данных, разложение (3.13) представляется более подходящим.

Корреляционное отношение характеризует среднее уменьшение дисперсии признака у при прогнозировании его величины с помощью уравнения (3.11) или, иными словами, относительную долю объясненной части дисперсии. Корреляционное отношение обычно обозначается г|² и определяется следующей формулой:

Из определения следуют следующие свойства этой величины:

— г|² принимает значения в интервале от 0 до 1; г|² = 1, если и только если все внутригрупповые дисперсии равны нулю,.

G²_k = 0 (т.е. когда у постоянно внутри каждой группы S_k)

— г|² = 0, если и только если все о²_к порядка а².

Вопрос 3.10. Рассмотрим два количественных признака х и у. Область значений х разделим на пять интервалов одинакового размера для задания категориальной переменной хс. Существует ли какая-либо связь между коэффициентом корреляции х и у и величиной корреляционного отношения хс и у?

Ответ. Прямой связи нет, можно привести случаи, когда коэффициент корреляции больше величины корреляционного отношения, и случаи, когда меньше.