Оценивание размерности модели

Если возможные подмножества признаков образуют расширяющееся семейство, например, оценивается степень полинома, то естественно ввести термин «размерность модели» (это понятие во многом аналогично используемому в многомерном шкалировании понятию размерности пространства данных). Автору настоящей статьи принадлежит ряд работ по оцениванию размерности модели, которые целесообразно сопоставить с работами по оцениванию размерности пространства данных, рассмотренными выше.

Первая такая работа выполнена автором настоящей статьи во время командировки во Францию в 1976 г. В ней была изучена одна оценка размерности модели в регрессии, а именно, оценка степени полинома в предположении, что зависимость описывается полиномом. Эта оценка была известна в литературе, но позже ее стали ошибочно приписывать автору настоящей статьи, который лишь изучил ее свойства, в частности, установил, что она не является состоятельной, и нашел ее предельное геометрическое распределение [12]. Другие, уже состоятельные оценки размерности регрессионной модели были предложены и изучены в статье [13]. Этот цикл завершила содержащая ряд уточнений работа [14].

Крайняя публикация на эту тему включает в себя обсуждение результатов изучения скорости сходимости в полученных мною предельных теоремах методом Монте-Карло [15].

Аналогичные по методологии оценки размерности модели в задаче расщепления смесей (часть теории классификации [5 — 7]) рассмотрены в статье [16].

Рассмотренные выше оценки размерности модели в многомерном шкалировании изучаются в работах [11, 17, 18]. В этих же работах установлено предельное поведение характеристик метода главных компонент (с помощью асимптотической теории поведения решений экстремальных статистических задач [19, 20]).