Определение числа факторов

Напомним, что одной из задач данного дипломного проекта является применение трех рассматриваемых методов к реальным данным. Поскольку при работе с реальными данными число общих факторов неизвестно, автору данной работы было необходимо реализовать какой-либо из методов определения этого числа. Сначала автором был реализован метод, основанный на критерии значимости (см. раздел 1.2.6). Однако, во время экспериментов с моделированными данными автору не удалось добиться удовлетворительной работы этого метода на нелинейно зависимых признаках. Поскольку реальные данные вполне могут быть связаны нелинейным типом зависимости, возникла необходимость реализации более эффективного для этого случая метода.

Было решено определять число факторов следующим образом. Сначала проводим метод максимального правдоподобия, задав ему число факторов, равное числу признаков .

Затем для каждого столбца полученной нагрузочной матрицы вычисляем значение.

.

где — -ый элементго столбца.

В пункте 1.2.3 было показано, что. Отсюда сумма квадратов элементовго столбца нагрузочной матрицы означает, сколько суммарной дисперсии признаков мы объясняем, добавляя к имеющимся факторамый. Соответственно, тогда — это сколько суммарного среднеквадратического отклонения признаков мы объясняем, добавляя к имеющимся факторамый. Поскольку метод максимального правдоподобия (а значит и его модификации тоже) упорядочивают столбцы нагрузочной матрицы в порядке убывания «значительности» соответствующих этим столбцам факторов, то и будут упорядочены в порядке убывания.

Теперь вспомним, что в методе максимального правдоподобия мы используем выборочную корреляционную, а не ковариационную матрицу, что равносильно тому, что мы предполагаем нормированность признаков.

Таким образом, если для некоторого столбца значение оказалось значительно больше единицы, это означает, что фактор, соответствующий этому столбцу, влияет как минимум на два признака. Значит, этот фактор — значительный, и мы его оставляем. Если получилось близко к единице, то скорее всего, этот фактор влияет только на один признак, причем другие факторы на этот признак не влияют. Оставлять или отбрасывать такие факторы — зависит от цели исследования. Если же для какого-то фактора получилось значительно меньше единицы, то можно сделать вывод, что этот фактор объясняет только шум, и отбросить его.

Итак, мы определили, сколько факторов мы оставляем. Опять запускаем метод, но уже заранее задаем ему это число факторов. Полученный результат считаем окончательным.

Следует подчеркнуть, что этот метод не является разработкой автора данного дипломного проекта, поскольку он использует ту же идею, что и критерий, основанный на величине доли объясняемой дисперсии (см. раздел 1.2.6). Отличие состоит лишь в том, что факторы ранжируются не по величине доли объясняемой дисперсии, а по величине приращения объясняемого среднеквадратического отклонения.

Эксперименты с искусственно смоделированными данными подтвердили эффективность этого метода. Это будет продемонстрировано в следующем разделе.