Генерация тестовых данных

Для проверки корректности работы методов и сравнения их эффективности для каждого типа зависимости необходимо иметь достаточное количество тестовых данных, связанных зависимостями линейного, монотонного и немонотонного типа. Под зависимостью, например, монотонного типа понимается нефункциональная зависимость, которая хорошо приближается монотонной функцией. (Аналогично для линейного и немонотонного типов). Причем, эти функции должны быть нам заранее известны. Более того, эти данные должны иметь такую структуру, чтобы было заранее понятно, каким должен оказаться результат, если метод корректно работает на этих данных.

Было решено моделировать тестовые данные следующей структуры. Генерируется выборка размера, элементами которой являются вектора размерности. -ая компонентаго наблюдения означает реализацию-го признака дляго объекта. Причем генерация выборки происходит так, чтобы признаки образовывали группы. В каждой группе зависимость между признаками должна хорошо приближаться заранее заданной функцией: линейной, нелинейной, но монотонной или немонотонной. Признаки из разных групп должны быть независимы. В терминах факторного анализа такую структуру следует понимать как: на все признаки каждой группы влияет единственный один и тот же общий фактор, и больше этот фактор не влияет ни на какие другие признаки. Таким образом, у нас каждой группе соответствует один общий фактор. Других общих факторов нет.

Был выбран именно такой принцип генерации, потому что по таким данным хорошо понятно, каким должен получиться результат применения метода в случае его правильной работы. А именно, строки полученной нагрузочной матрицы тоже должны образовывать группы. Строки внутри одной группы должны быть почти равны. (Т.е. их поэлементные разности должны быть очень маленькими). Причем, в каждой строке должно быть по одному большому элементу — в том столбце, который соответствует фактору, влияющему на ту группу, к которой относится признак, соответствующий этой строке. Остальные элементы этой строки должны быть близки к нулю.

Таким образом, если метод работает, например, только для монотонного типа зависимости, то строки его нагрузочной матрицы образуют столько групп, в скольких тип зависимости между признаками носит монотонный характер.

Далее будет подробно описан способ генерации данных вышеуказанной структуры, которые в дальнейшем используются в данной работе для демонстрации полученных автором результатов.

Для демонстрации результатов были сгенерированы четыре группы признаков, по три признака в каждой. В первых двух группах признаки связаны зависимостью линейного типа, в третьей — монотонного нелинейного, в четвертой — немонотонного. В первой группе линейный тип зависимости обусловливается высокими коэффициентами корреляции между признаками. Зависимости в трех оставшихся группах — это «зашумленные» функциональные зависимости. Другими словами, эти зависимости приближаются с высокой точностью некоторыми (конкретными) линейной, монотонной нелинейной и немонотонной функциями, которые далее обозначаются, и соответственно. Иллюстрации этих четырех зависимостей представлены ниже.

Рисунок 3.1. Зависимости, связывающие признаки в группах демонстрационных данных Чтобы избежать путаницы, далее будем говорить, что в первой группе признаки связаны зависимостью «почти линейного» типа, а во второй — просто линейного. В программе сгенерированная выборка хранится в виде матрицы размера, где — количество признаков, — количество наблюдений. В нашем случае число признаков равно двенадцати, число наблюдений для наилучшей наглядности было выбрано равным десяти тысячам, но следует подчеркнуть, что и на выборках гораздо меньшего объема методы работают так же, как и на больших. Элемент матрицы соответствуетой компонентего наблюдения. Строки этой матрицы также образовывают группы. Строки внутри каждой группы получаются одна из другой применением соответствующей функции. Или же случайные величины, порождающие эти строки, имеют заданный коэффициент корреляции.

Первая группа признаков была сгенерирована следующим образом. Первый признак — это стандартная нормальная случайная величина. Второй признак — это нормальная случайная величина, имеющая коэффициент корреляции с, равный 0.7. Аналогично, — нормальная случайная величина, имеющая с коэффициент корреляции 0.7.

Необходимо более подробно пояснить, как происходила генерация реализаций случайных величин, имеющих заранее заданный коэффициент корреляции. Сначала дадим нашей задаче математическую трактовку. Пусть имеются независимые случайные величины и. Рассмотрим случайную величину. Необходимо подобрать такое значение параметра, чтобы коэффициент корреляции случайных величин и был равен заранее заданной константе. Причем, поскольку коэффициент корреляции может лежать только в этих пределах.

Заметим, что дисперсия случайной величины равна:

Сначала найдем ковариацию случайных величин и .

Тогда их корреляция равна:

Выражаем из этой формулы .

Предположим, что неотрицательно.

Тогда:

Аналогично, при отрицательном получаем:

Итого:

Теперь перейдем к алгоритмической реализации этого метода.

Для генерации данных, имеющих заданный коэффициент корреляции, была создана функция «generateCorr». Реализующий эту функцию фрагмент написанного в Матлабе программного кода приведен в Приложении. Функция «generateCorr» работает следующим образом. Она принимает на вход три целых числа: r, n и corr, где corr. r означает количество признаков в нашей генерируемой группе, n — число наблюдений, corr — заданный коэффициент корреляции. Затем создается матрица размера r? n. Первая строка этой матрицы заполняется стандартными нормальными случайными величинами. Вводится переменная. В начале ей присваивается значение дисперсии каждого элемента первой строки, т. е. единица. Затем в цикле для каждой строки матрицы, со второй по последнюю, выполняется следующая последовательность шагов:

• · вычисляется текущее значение переменной? по формуле. По сути, это и есть формула (3), только теперь под случайной величиной мы понимаем стандартную нормальную случайную величину. Значит, в числителе равно единице. А текущее значение переменной на данной итерации цикла равно дисперсии элементов предыдущей строки.
• · происходит заполнение текущей строки следующим образом: i-ый элемент текущей строки получается умножением i-го элемента предыдущей строки на текущее значение параметра? и прибавлением к полученному произведению стандартной нормальной случайной величины, (под которой и подразумевается из математической трактовки).
• · переменной присваивается новое значение, равное, т. е. теперь в переменной хранится значение дисперсии элементов текущей строки (см. формулу для (2)).

Таким образом, в полученной матрице коэффициент корреляции между случайными величинами, порождающими ее первую и вторую строки будет равен corr, коэффициент корреляции между случайными величинами, порождающими ее вторую и третью строки будет равен corr, и так далее.

Принцип генерации оставшихся трех групп следующий. Пусть имеют усеченное стандартное нормальное распределение. А — нормальное распределение .

Тогда значения признаков — вычисляются по следующим формулам:

Технически эта задача была решена следующим образом. Была создана функция «generateData» (см. Приложение).

Она принимает на вход массив функций (теперь уже имеются ввиду математические функции) и два целых числа — m и n. m означает количество признаков в каждой группе (группы одинакового размера), n — количество наблюдений. Тогда количество всех признаков (далее оно обозначается r) равно произведению размера массива функций и m. Затем создается матрица из нулей размера r? n. Заполнение этой матрицы происходит следующим образом. Первая строка матрицы заполняется случайными величинами (правильнее сказать, их реализациями), имеющими усеченное стандартное нормальное распределение. Вторая строка матрицы получается применением первой функции из массива к первой строке, третья — применением первой функции ко второй строке и так далее до m-ой строки. На данный момент мы задали значения всех признаков первой группы. (m+1)-я строка матрицы заполняется опять усеченными стандартными нормальными случайными величинами и все действия повторяются для следующих m строк. Теперь мы задали значения признаков второй группы. И так далее, пока не заполним все строки матрицы. После этого добавляем к каждому элементу матрицы нормально распределенную случайную величину с нулевым математическим ожиданием и дисперсией, равной 0.01, т. е. добавляем к нашим данным шум.

Отметим, что с помощью одного вызова функции «generateData» можно смоделировать сразу несколько групп взаимно зависимых признаков, в то время как одним вызовом функции «generateCorr» моделируется только одна такая группа.

Хотелось бы пояснить, почему используется усеченное стандартное нормальное распределение вместо обычного. Предположим, что мы все же используем обычное стандартное нормальное распределение при заполнении первых строк каждой группы. Пусть во входном массиве функций имеется многочлен достаточно высокой степени (например, четвертой). Тогда, если при заполнении первой строки той группы, строки внутри которой будут связаны с помощью этого многочлена, значение хотя бы одного элемента этой строки попадет в выброс нормального распределения, то в последующих строках это число будет возведено в очень высокую степень. Тогда некоторые элементы полученной на выходе матрицы будут сильно отличаться от всех остальных. В этом случае, число обусловленности матрицы оказывается очень велико. Плохо обусловленную матрицу тяжело или даже невозможно численно обратить, а метод максимального правдоподобия (и его модификации тоже) широко используют операцию обращения, что приводит к накоплению ошибки или тому, что метод не сходится (т.е. работает бесконечно).

Для генерации случайных величин, имеющих усеченное стандартное нормальное распределение, автором была создана функция «randn_cut» (см. Приложение). Эта функция работает следующим образом. На вход принимаются два целых числа a и b. Затем создается матрица размера a? b, заполненная стандартными нормальными случайными величинами. (Это делается с помощью встроенной в Матлаб функции «randn (a, b)»). Затем те элементы матрицы, значения которых оказались больше единицы или меньше минус единицы (т.е. попали в выбросы нормального распределения), заменяются на новые стандартные нормальные случайные величины. Затем такое же замещение происходит с новой матрицей.

И так до тех пор, пока все элементы не будут лежать в интервале от минус единицы до единицы. (С вероятностью 1 это условие в какой-то момент окажется выполненным).