Многомерные статистические методы и их применение в экономике

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

«Смоленский государственный университет»

Кафедра математики и информатики

Курсовая работа

Многомерные статистические методы и их применение в экономике Выполнила:

студентка 3 курса факультета экономики и управления специальности

«Прикладная информатика в менеджменте»

Романенкова Зоя Владимировна Научный руководитель:

Анищенкова Надежда Геннадьевна, Смоленск — 2012

Содержание

Введение

Глава 1. Теоретическая часть

1.1 Классификация без обучения. Кластерный анализ

1.1.1 Основные понятия

1.1.2 Расстояние между кластерами

1.1.3 Функционалы качества разбиения

1.1.4 Иерархические кластер — процедуры

1.2 Дискриминантный анализ

1.2.1 Методы классификации с обучением

1.2.2 Линейный дискриминантный анализ

1.2.3Дискриминантный анализ при нормальном законе распределения показателей

1.3 Применение СКМ Mathcad при решении задач дискриминантного анализа Глава 2. Решение задач дискриминантного анализа в системе компьютерной математики Mathcad

Заключение

Список используемой литературы

Введение

Методов многомерного анализа данных много, но они разрозненные, и, как правило, несводимые в единое целое. Соответственно, актуальность исследования определяется широкими возможностями применения методов многомерного статистического анализа, и в частности дискриминантного анализа, при принятии управленческих решений.

Практическая значимость исследования заключается в возможности автоматизации громоздких вычислительных операций при решении задач дискриминантного анализа.

Объектом исследования является решение задач дискриминантного анализа.

Предметом исследования является разработка шаблона в СКМ Mathcad для решения широкого круга задач дискриминантного анализа.

Цель исследования: изучить один из методов многомерного статистического анализа и возможность его реализации в СКМ Mathcad.

Сформировав объект, предмет и цель исследования определим основные задачи исследования:

— пользуясь литературой, изучить один из методов многомерного статистического анализа — дискриминантный анализ;

— ознакомиться с возможностями применения СКМ Mathcad для реализации метода дискриминантного анализа;

— решить 3−4 задачи экономического содержания методом дискриминантного анализа в СКМ Mathcad.

Глава 1. Методы многомерной классификации

1.1. Классификация без обучения. Кластерный анализ

1.1.1 Основные понятия

В статистических исследованиях группировка первичных данных является основным приемом решения задачи классификации, а значит и основой всей дальнейшей работы с собранной информацией.

Традиционно эта задача решается следующим образом. Из множества признаков, описывающих объект, отбирается один, наиболее информативный с точки зрения исследователя, и производится группировка в соответствии со значениями данного признака. Если требуется провести классификацию по нескольким признакам, ранжированным между собой по степени важности, то сначала производится классификация по первому признаку, затем каждый из полученных классов разбивается на подклассы по второму признаку, и т. д. Подобным образом строится большинство комбинационных статистических группировок.

В тех случаях, когда упорядочить классификационные признаки не представляется возможным, применяется наиболее простой метод многомерной группировки создание интегрального показателя (индекса), функционально зависящего от исходных признаков, с последующей классификацией по этому показателю.

Развитием этого подхода является вариант классификации по нескольким обобщающим показателям (главным компонентам), полученным с помощью методов факторного анализа.

При наличии нескольких признаков (исходных или обобщенных) задача классификации может быть решена методами кластерного анализа, которые от других методов многомерной классификации отличаются отсутствием обучающих выборок, т. е. априорной информации о распределении генеральной совокупности, которая представляет собой вектор Х.

Различия между схемами решения задач классификации во многом определяются тем, что понимают под понятиями «сходство» и «степень cxoдства» .

После тoгo, как сформулирована цель работы, необходимо попытаться определить критерии качества, целевую функцию, значения которой позволят сопоставить различные схемы классификации. 4, 5−10]

В экономических исследованиях целевая функция, как правило, должна минимизировать некоторый параметр, определенный на множестве объектов (например, целью классификации оборудования может явиться группировка, минимизирующая совокупность затрат времени и средств на ремонтные работы) В случаях, когда формализовать цель задачи не удается, критерием качества классификации может служить возможность содержательной интерпретации найденных групп.

Рассмотрим следующую задачу. Пусть исследуется совокупность n объектов, каждый из которых характеризуется по k замеренным на нем признакам Х. Требуется разбить эту совокупность на однородные в некотором смысле группы (классы). При этом практически отсутствует априорная информация о характере распределения измерений Х внутри классов. 10, 23−26]

Полученные в результате разбиения группы обычно называются кластерами (от англ. сluster — гpyппa элементов, характеризуемых каким-либо общим свойством), а также таксонами (от англ. taxon — систематизированная группа любой категории) или образами. Методы нахождения кластеров называются кластер-анализом (соответственно численной таксономией или распознаванием образов с самообучением).

При этом с самого начала необходимо четко представить, какая из двух задач классификации подлежит решению. Если решается обычная задача типизации, то совокупность наблюдений разбивают на сравнительно небольшое число областей группирования (например, интервальный вариационный ряд в случае одномерных наблюдений) так, чтобы элементы одной такой области по возможности находились друг от друга на небольшом расстоянии.

Решение другой задачи типизации заключается в определении естественного расслоения исходных наблюдений на четко выраженные кластеры, лежащие друг от друга на некотором расстоянии.

Если первая задача типизации всегда имеет решение, то при второй постановке может оказаться, что множество исходных наблюдений не обнаруживает естественного расслоения на кластеры, т. е. образует один кластер. 7,352−353]

Несмотря на то, что многие методы кластерного анализа довольно элементарны, применение методов кластерного анализа стало возможным только в 80-e годы с возникновением и развитием вычислительной техники. Это объясняется тем, что эффективное решение задачи поиска кластеров требует большего числа арифметических и логических операций. Pacсмотрим три различных подхода к проблеме кластерного анализа: эвристический, экстремальный и статистический.

Эвристический подход характеризуется отсутствием формальной модели изучаемого явления и критерия для сравнения различных решений. Его основой является алгоритм, построенный исходя из интуитивных соображений.

При экстремальном подходе также не формулируется исходная модель, а задается критерий, определяющий качество разбиения на кластеры. Такой подход особенно полезен, если цель исследования четко определена. В этом случае качество разбиения может измеряться эффективностью выполнения цели.

Основой статистического подхода решения задачи кластерного анализа является вероятностная модель исследуемого процесса. Статистический подход особенно удобен для теоретического исследования проблем, связанных с кластерным анализом. Кроме тoгo, он дает возможность ставить задачи, связанные с воспроизводимостью результатов кластерного анализа.

Рассмотрим формы представления исходных данных и определение мер близости. [4,34−36]

В задачах кластерного анализа обычной формой представления исходных данных служит прямоугольная таблица, каждая строка которой представляет результат измерения k рассматриваемых признаков на одном из обследованных объектов:

В конкретных ситуациях может представлять интерес как группировка объектов, так и гpуппировка признаков. В случаях, когда разница между этими двумя задачами несущественна, например, при описании некоторых алгоритмов, мы будем пользоваться только термином «объект», подразумевая в этом понятии и «признак» .

Числовые значения, входящие в матрицу Х, могут соответствовать трем типам переменных: количественным, ранговым и качественным. Количественные переменные обладают свойством упорядоченности и над ними можно производить арифметические операции. Значения ранговых переменных тоже упорядочены, И их можно пронумеровать натуральными числами. Однако использование этих чисел в арифметических операциях будет некорректным. Качественными называются переменные, принимающие два (дихотомные) или более значений. Этим значениям также можно поставить в соответствие некоторые числа, которые, однако, не будут отражать какой-либо упорядоченности значений качественной переменной. Исключением являются дихотомные переменные, два значения которых (как правило, они обозначаются числами 0 и 1) можно считать упорядоченными.

Желательно, чтобы таблица исходных данных соответвовала одному типу переменных. В противном случае разные типы переменных стараются свести к какому-то одному типу переменных. Например, все переменные можно свести к дихотомным, используя следующую процедуру. Количественные переменные переводят в ранговые, разбивая области значений количественной переменной на интервалы, которые затем нумеруются числами натурального ряда. Paнговые переменные автоматически становятся качественными, если не учитывть упорядоченноcти их значений. Что касается качественных переменных, то каждому из возможных ее значений приходится сопоставлять дихотомную переменную, которая будет равна 1, если качecтвенная переменная приняла данное значение, и О — в противном случае.

Oтметим, что форма записи исходных данных, их сведение к одному типу, возможность использования только чаcти данных и т. п., игpают определенную роль при оценке практической эффективноcти вычислительного комплекса, предназначенного для решения задач классификации. [10, 386−387]

Матрица Х не является единcтвенным способом представления исходных данных в задачах кластерного анализа. Иногда исходная информация задана в виде квадратной матрицы

элемент, которой определяет степень близости i-гo объекта к j-му.

Большинство aлгоритмов кластерного анализа либо полностью исходит из матрицы расстояний (или близостей), либо требует вычисления отдельных ее элементов, поэтому, если данные представлены в форме Х, то первым этапом решения задачи поиска кластеров будет выбор способа вычисления расстояний или близости между объектами или признаками (в этом отношении различие между объектами и признаками является существенным).

Oтносительно просто определяется близость между признаками. Как правило, кластерный анализ признаков преследует те же цели, что и факторный анализ — выделение гpупп связанных между собой признаков, отражающих определенную сторону изучаемых объектов. В этом случае мерами близости служат различные статистические коэффициенты связи.

Если признаки количественные, то можно использовать оценки обычных парных выборочных коэффициентов корреляции

Однако коэффициент корреляции измеряет только линейную связь, поэтому если связь не линейна, то следует использовать корреляционное отношение, либо произвести подходящее преобразование шкалы признаков.

Существуют также различные коэффициенты связи, определенные для paнговыx, качественных и дихотомных переменных.5[120−125]

кластер компьютерный математика дискриминантный

1.1.2 Расстояние между кластерами

В ряде процедур классификации (кластерпроцедур) используют понятия расстояния между группами объектов и меры близости двух гpyпп объектов.

Пустья гpyппa (класс, кластер), состоящая из объектов;

среднее арифметическое векторных наблюдений группы, т. е.

" центр тяжести" i-й группы;

расстояние между группами и .

Наиболее употребительными расстояниями и мерами близости между классами объектов являются:

расстояние, измеряемое по принципу «ближайшего соседа»

расстояние, измеряемое по принципу «дальнего соседа»

расстояние, измеряемое по «центрам тяжести» гpyпп расстояние, измеряемое по принципу «средней связи» Это расстояние определяется как среднее арифметическое всех попарных расстояний между представителями рассматриваемых групп Академиком А. Н. Колмогоровым было предложено «обобщенное расстояние» между классами, которое в качестве частных случаев включает в себя все рассмотренные выше виды расстояний.

Обобщенное расстояние основано на понятии так называемого «обобщенного среднего», а точнее степенного среднего и определяется формулой:

(1)

Можно показать, что при

при

при

Из формулы (1) следует, что если — группа элементов, полученная путём объединения кластеров и, то обобщённое расстояние между кластерами и определяется по формуле

(2)

Расстояние между группами элементов особенно важно в так называемых aгломераттивных иерархических кластер-процедурах, так как принцип работы таких aлгоритмов состоит в последовательном объединении сначала самых близких элементов, а затем и целых групп все более и более отдаленных дpyг от дpyгa элементов.

При этом расстояние между классами и являющимися объединением двух других классов и можно определить по формуле:

(3)

Где — расстояние между классами ;

и — числовые коэффициенты, значение которых определяет специфику процедуры, ее алгоритм.

и

Например, приходим к расстоянию, построенному по принципу «ближайшего соседа» При и расстояние между классами определяется по принципу «дальнего соседа», как расстояние между двумя самыми дальними элементами этих классов. И наконец, при

,

соотношение (3) приводит к расстоянию между классами, вычисленному как среднее из расстояний между всеми парами элементов, один из которых берется из одного класса, а другой из дpyгoгo класса.

1.1.3 Функционалы качества разбиения

Существует большое количество различных способов разбиения на классы заданной совокупности элементов. Поэтому представляет интерес задача сравнительного анализа качества этих способов разбиения. С этой целью вводится понятие функционала качества разбиения Q (S), oпpeдeленного на множестве всех возможных разбиений.

Наилучшее разбиение представляет собой такое разбиение, при котором достигается экстремум выбранного функционала качества. Следует отметить, что выбор того или иного функционала качества разбиения, как правило, опирается на эмпирические соображения.

Рассмотрим некоторые наиболее pacпространённые функционалы качества разбиения. Пусть исследованием выбрана метрика в пpocтpaнстве X и некоторое фиксированное разбиение наблюдений на заданное число p классов .

Существуют следующие характеристики функционала качества:

— сумма внутриклассовых дисперсий

(4)

— сумма попарных внутриклассовых расстояний между элементами

(5)

Или и широко используются в задачах кластерного анализа для сравнения качества процедур разбиения;

— обобщенная внутриклассовая дисперсия

(6)

где — определитель матрицы А;

— выборочная ковариационная матрица класса элементы которой определяются по формуле где — q-я компонента многомерного наблюдения,

— - среднее значение q-й компоненты, вычисленное по наблюдениям го класса.

Качество разбиения характеризуют и другим видом обобщенной дисперсии, в которой операция суммирования заменена операцией умножения

Oтметим, что функционалы и обычно используют при решении вопроса: не сосредоточены ли наблюдения, разбитые на классы, в пространстве размерности, меньшей, чем k.

1.1.4 Иерархические кластер — процедуры

Иерархические (деревообразные) процедуры являются наиболее распространенными алгоритмами кластерного анализа по их реализации на ЭВМ. Они бывают двух типов: агломеративные и дивизимные. В агломративных процедурах начальным является разбиение, состоящее из n одноэлементных классов, а конечным из одного класса; в дивизимных наоборот.

Принцип работы иерархических агломеративных (дивизимных) процедур состоит в последовательном объединении (разделении) групп элементов сначала самых близких (далеких), а затем все более отдаленных (близких) друг от друга. Большинство этих алгоритмов исходит из матрицы расстояний (сходства).

К недостаткам иерархических процедур следует отнести гpомоздкость их вычислительной реализации. Алгоритмы требуют на каждом шаге матрицы вычисления расстояний, а следовательно, емкой машинной памяти и большого количества времени. В этой связи реализация таких алгоритмов при числе наблюдений, большем нескольких сотен, нецелесообразна, а в ряде случаев и невозможна.

Приведем пример агломеративного иерархического алгоритма. На первом шаге каждое наблюдение (i=1,2,., n) рассматривается как отдельный кластер. В дальнейшем на каждом шаге работы алгоритма происходит объединение двух самых близких кластеров, и, с учетом принятого расстояния, по формуле пересчитывается матрица расстояний, размерность которой, очевидно, снижается на единицу. Работа алгоритма заканчивается, когда все наблюдения объединены в один класс. Большинство пpoгpaмм, реализующих алгоритм иерархической классификации, предусматривают графическое представление классификации в виде дeндpoгpaммы.

Пример 1

Провести классификацию n=6 объектов, каждый их которых характеризуется двумя признаками:

Расположение объектов в виде точек на плоскости показано на рисунке 1.

Рисунок 1 — Классификация объектов

Решение

Воспользуемся агломеративным иерархическим алгоритмом классификации. В качестве расстояния между объектами возьмем обычное евклидово расстояние. Тогда согласно формуле (2) расстояние между первым и вторым объектами, а между первым и третьим объектами Очевидно, что Аналогично находим расстояния между шестью объектами и строим матрицу расстояний Из матрицы расстояний следует, что четвертый и пятый объекты наиболее близки и поэтому объединяются в один кластер.

После объединения объектов имеем пять кластеров:

Расстояние между кластерами определим по принципу «ближайшего соседа», воспользовавшись формулой пересчета (11). Так расстояние между объектом и кластером

Таким образом, расстояние равно расстоянию от объекта 1 до ближайшего к нему объекта, входящего в кластер т. е.. Toгдa матрица расстояний Объединим второй и третий объекты, имеющие наименьшее расстояние. После объединения объектов имеем четыре кластера:

Вновь найдем матрицу расстояний. Для тoгo чтобы рассчитать pacстояние до кластера воспользуемся матрицей расстояний. Haпример, расстояние между кластерами и равно Рисунок 2 — Дендрограмма Проведя аналогичные расчеты, получим Объединим кластеры и расстояние между которыми, согласно матрице наименьшее. В результате получим три кластера и

Матрица расстояний будет иметь вид:

Объединим теперь кластеры и, расстояние между которыми. В результате получим два кластера: и расстояние между которыми, найденное по принципу «ближайшего соседа» .

Результаты иерархической классификации объектов представлены на рисунке 2 в виде дендрогpаммы.

На рисунке 2 приводятся расстояния между объединяемыми на данном этапе кластерами (объектами). В нашем примере предпочтение следует отдать предпоследнему этапу классификации, когда все объекты объединены в два кластера и

1.2 Дискриминантный анализ

1.2.1 Методы классификации с обучением

Однородность изучаемых объектов определяется с помощью как дискриминантного, так и кластерного анализа. При этом к дискриминантому анализу обращаются тогда, когда методами кластерного анализа задача не решается, либо для её решения отсутствуют необходимые исходные данные. Методы дискриминантного анализа предполагают построение функции и нахождение на основе этой функции значения искомых параметров и и далее значение самой функции .

Приступая к изучению алгоритмов дискриминантного анализа, нужно помнить об их связи с предыдущими и прежде всего с алгоритмами кластерного анализа, как родственными.

В центре внимания дискриминантного анализа — выявление, идентификация и сравнение однородности групп по общности наблюдаемых объектов, определяемой по эмпирическим данным с их однородностью, устанавливаемой на основе обучающих (эталонных) оценок или выборок.

Вот почему акцент в этой работе должен быть сделан на идентификации областей достаточности таких сравнений, которые определяются по критерию сходимости результатов различных выборок. Достаточными при этом являются области получении однородных групп, наблюдаемых объектов, например высокоприбыльных, средних и убыточных компаний, образов положительных и отрицательных героев, здоровых и больных людей и т. д.

При дискриминантном анализе, как нигде, существенное значение имеет определение зависимости от приёмов (линейных, пошаговых) от характера статистического определения данных. Подготовка и отбор этих данных, процедуры их идентификации с обучающими выборками, в частности с экспертными оценками.

Главное — не только научиться технике проведения дискриминантных расчётов, но и пониманию их смысла, умению отбирать и распознавать на основе полученных дискриминантных оценок образцовые объекты, представлять их как ноу-хау, своеобразные бренды, носители будущего, заслуживающие культивирования.

Предметом дискриминантного анализа является как раз поиск и идентификация таких объектов.

В отличие от аналитических группировок, где, по сути, решается та же задача с ограниченным количеством наблюдаемых одномерных признаков (максимум 5−7), в дискриминантном анализе количество наблюдаемых признаков, как правило, не ограничено, а измерение их многомерно и конечно.

Ключевым моментом в дискриминантном анализе является определение идентификационных характеристик m и S, формирование их на основе эталонных классов и обучающих выборок и отнесение наблюдаемых эмпирических объектов к одному и только одному классу, что невозможно сделать, ограничиваясь методами простых группировок.

Смысл работы сводится к определению для каждого эмпирического объекта с фиксируемым набором признаков x некоторого обобщающего признака m, находимого путём соизмерения его исходных эмпирических значений x, распознаванию принадлежности и отнесению наблюдаемого объекта по величине m к одному из эталонных классов, назначаемых нормативно или устанавливаемых на основе альтернативных принципов подобия и различий.

Дискриминантный анализ, как раздел многомерного статистичecкого анализа, включает в себя статистические методы классификации мнoгoмерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками («классификация с учителем»).

В общем случае задача различения (дискриминации) формулируется следующим образом. Пусть результатом наблюдения над объектом является реализациямерного случайного вектора. Требуется установить правило, согласно которому по наблюденному значению вектора объект относят к одной из возможных совокупностей

Для построения правила дискриминации все выборочное пространство R значений вектора х разбивается на области так, что при попадании х в; объект относят к совокупности .

Правило дискриминации выбирается в соответствии с определенным принципом оптимальности на основе априорной информации о совокупностях; извлечения объекта из. При этом следует учитывать размер убытка от неправильной дискриминации. Априорная информация может быть представлена как в виде некоторых сведений о функции k-мерного распределения признаков в каждой совокупности, так и в виде выборок из этих совокупностей. Априорные вероятности могут быть либо заданы, либо нет. Очевидно, что рекомендации будут тем точнее, чем полнее исходная информация.

С точки зрения применения дискриминантного анализа наиболее важной является ситуация, когда исходная информация о распределении представлена выборками из них. В этом случае задача дискриминации ставится следующим образом.

Пусть; выборка из совокупности причем каждый — й объект выборки представлен k-мерным вектором параметров. Произведено дополнительное наблюдение над объектом, принадлежащим одной из совокупностей. Требуется построить правило отнесения наблюдения х к одной из этих совокупностей.

Обычно в задаче различения переходят от вектора признаков, характеризующих объект, к линейной функции от них, дискриминантной функции гиперплоскости, наилучшим образом разделяющей совокупность выборочных точек.

Наиболее изучен случай, когда известно, что распределение векторов признаков в каждой совокупности нормально, но нет информации о параметрах этих распределений. Здесь естественно заменить неизвестные параметры распределения в дискриминантной функции их наилучшими оценками. Правило дискриминации можно основывать на отношении правдоподобия.

Непараметрические методы дискриминации не требуют знаний о точном функциональном виде распределений и позволяют решать задачи дискриминации на основе незначительной априорной информации о совокупностях, что особенно ценно для практических применений.

В параметрических методах эти точки используются для оценки параметров статистических функций распределения. В параметрических методах построения функции, как правило, используется нормальное распределение.

1.2.2 Линейный дискриминантный анализ

Предположения:

1) имеются разные классы объектов;

2) каждый класс имеет нормальную функцию плотности от k переменных

;

где — вектор математических ожиданий переменныx размерности k;

— ковариационная матрица при ;

— обратная матрица.

Матрица — положительно определена.

В случае если параметры известны дискриминацию можно провести следующим образом.

Имеются функции плотности нормально распределённых классов. Задана точка х в пространстве k измерений. Предполагая, что имеет наибольшую плотность, отнесем точку x к мy классу. Существует доказательство, что если априорные вероятности для определяемых точек каждого класса одинаковы и потери при неправильной классификации i-й группы в качестве j-й не зависят от i и j, то решающая процедура минимизирует ожидаемые потери при неправильной классификации.

Приведем пример оценки параметра многомерного нормального распределения и.

и могут быть оценены по выборочным данным: и для классов. Задано выборок из некоторых классов. Математические ожидания могyт быть оценены средними значениями

(7)

Несмещенные оценки элементов ковариационной матрицы есть

(8)

Следовательно, можно определить и по выборкам в каждом классе при помощи (7), (8).

Получив оценки, точку x отнесем к классу, для которой функция максимальна.

Введем предположение, что все классы, среди которых должна проводиться дискриминация, имеют нормальное распределение с одной и той же ковариационной матрицей .

В результате существенно упрощается выражение для дискриминантной функции.

Класс, к которому должна принадлежать точка x, можно определить на основе неравенства

>. (9)

Воспользуемся формулой (6) для случая, когда их ковариационные матрицы равны, а есть вектор математических ожиданий класса i. Тогда (9) можно представить неравенством их квадратичных форм

>

Раскроем скобки.

>

(10)

Вспомним, если имеем два вектора Z и W, то скалярное произведение можно записать. выражении (10) исключим справа и слева, поменяем у всех членов суммы знаки. Теперь преобразуем Сократим правую и левую часть неравенства (10) на 2 и, используя запись квадратичных форм, получим

(11)

Введем обозначения в выражение (11):

Тогда выражение (11) примет вид

> (12)

Следствие: проверяемая точка x относится к классу i, для которого линейная функция

(13)

Преимущество метода линейной дискриминации Фишера заключается в линейности дискриминантной функции (13) и надежности оценок ковариационных матриц классов.

Пример Имеются два класса с параметрами и. По выборкам из этих совокупностей объемом и получены оценки и .

Первоначально проверяется гипотеза о том, что ковариационные матрицы и. равны. В случае если оценки и. статистически неразличимы, то принимается, что и строится общая оценка, основанная на суммарной выборке объемом, после чего строится линейная дискриминантная функция Фишера.

Существуют и другие методы. Так, в математическом обеспечении пакета «Олимп» используется пошаговый дискриминантный анализ.

1.2.3 Дискриминантный анализ при нормальном законе распределения показателей

Имеются две генеральные совокупности Х и У, имеющие трехмерный нормальный закон распределения с неизвестными, но равными ковариационными матрицами. Из них взяты обучающие выборки с объемами и

(14)

(15)

Целью дискриминантного анализа является отнесение нового наблюдения (строки матрицы Z) либо к X либо к У.

(16)

Для решения задачи по обучающим выборкам определим векторы средних

и

1. Определим оценки ковариационных матриц и

Найдем элемент матрицы :

где и — средние значения.

2. Рассчитаем несмещенную оценку суммарной ковариационной матрицы

3. Определим матрицу, обратную к .

4. Вычислим вектор оценок коэффициентов дискриминантной функции

5. Рассчитаем оценки векторов значений дискриминантной функции для матриц исходных данных

6. Вычислим средние значения оценок дискриминантной функции

7. Определим константу

Дискриминантную функцию для v-ого наблюдения, подлежащего дискриминации, получим решив уравнение Если, то v-е наблюдение надо отнести к совокупности х, если же <, то v-e наблюдение следует отнести к совокупности y.

Правило здесь такое: если параметры максимально удалены друг от друга и равноудалены от среднего их значения, искомые дискриминанты найдены с минимальными погрешностями, объекты разграничены и включены в соответствующие классы верно, задача решена правильно.

И напротив, в случае обнаружения больших уклонений и погрешностей наблюдаемые объекты разграничены неверно, задача должна решаться заново, с уточнением её общей постановки и возможным привлечением дополнительных эмпирических данных.

1.3 Применение СКМ Mathcad при решении задач дискриминантного анализа

Mathcad создавался как мощный микрокалькулятор, позволяющий легко справляться с рутинными задачами инженерной практики, ежедневно встречающимися в работе: решение алгебраических или дифференциальных уравнений с постоянными и переменными параметрами, анализ функций, поиск их экстремумов; численное и аналитическое дифференцирование и интегрирование; вывод таблиц и графиков при анализе найденных решений.

Главными достоинствами Mathcad и его колоссальным преимуществом перед другими расчётными средствами являются лёгкость и наглядность программирования задачи, простота использования, возможность создания средствами Mathcad высококачественных технических отчётов с таблицами, графиками и текстом.

Mathcad завоевал популярность во всём мире. Им пользуются в работе свыше 5 млн. человек. Ежегодно выпускаются новые версии Mathcad. Улучшается его интерфейс, расширяются возможности отдельных функций, упрощается работа в Интернете.

Новшеством первых версий Mathcad было появление дискретной переменной, позволяющей одновременно находить значения функций для целого ряда значений переменной и на основе полученных результатов строить таблицы и графики без применения операторов программирования. [12, с. 15−16]

Опишем некоторые операторы и функции, использованные в проделанной работе.

Порядком нумерации элементов массива управляет встроенная функция ORIGIN. По умолчанию ORIGIN = 0. Это обозначает, что первый элемент массива имеет номер 0. [12, с. 61]

— определение количества строк и столбцов в матрицах;

— транспонирование значения;

— нахождение обратной матрицы;

Кроме этого в работе использованы элементы программирования с использованием операторов for, if, otherwise.

Также существует возможность применения следующих функций и операторов:

— операторы, обозначающие основные арифметические действия, вводятся с панели Calculator (Калькулятор)

· сложение и вычитание: + / —;

· умножение и деление: * / * ;

· факториал: !;

· модуль числа: |х|;

· квадратный корень;

· корень n-й степени: ,

· возведение х в степень у: х^у ;

· изменение приоритета: скобки;

· численный вывод: = (все листинги) Перечислим логические операторы:

· больше (Greater Than) x>y;

· меньше (Less Than) x

· больше или равно (Greater Than or Equal) x>_y;

· меньше или равно (Less Than or Equal) x_

· равно (Equal) x=y;

· не равно (Not Equal to);

· и (And) х^у;

· или (Or) xvy;

· исключающее или (Exclusive or) x®y;

· отрицание (Not). 11,13]

Глава 2. Решение задач дискриминантного анализа в системе компьютерной математики Mathcad

Задача 1

Деятельность каждого производственного объединения отрасли оценивалась по следующим трем показателям:

— среднегодовой стоимости основных производственных фондов (ОПФ);

— среднесписочной численности промышленного производственного персонала (ППП);

— балансовой прибыли.

В отрасли выделены две группы: передовая, состоящая из четырех объединений, и остальная, включающая пять объединений.

Данные представлены в табл. 1.

Отрасли передано объединение Z, у которого по принятым трем показателям получены следующие результаты: стоимость ОПФ — 55,451; численность ППП — 9,592 тыс. человек; балансовая прибыль — 12,840.

Определить, можно ли отнести новое объединение к передовой группе предприятий отрасли. [4, 263]

Таблица 2.1

Решение

Ответ: объединение Z относится ко второй группе и не может быть отнесено к группе передовых предприятий.

Задача 2

Деятельность каждого предприятия машиностроительной отрасли оценивалась по следующим двум показателям:

— рентабельность (%);

— производительность труда (млн.руб./чел).

В отрасли выделены две группы предприятий (с высоким и низким уровнями организации управления производством): передовая, состоящие из четырех объединений, и остальная, включающая пять объединений.

Данные представлены в таблице.

Отрасли передано объединение Z, состоящее из 3 предприятий. По принятым двум показателям получены следующие результаты:

1 предприятие: рентабельность — 9,9, производительность труда — 7,4;

2 предприятие: рентабельность — 14,2, производительность труда — 9,4;

3 предприятие: рентабельность — 12,9, производительность труда — 6,7.

Определить, можно ли отнести новые предприятия к передовой группе предприятий отрасли. [4, 265]

Таблица 2.2

Решение

Ответ: первое предприятие относится ко второй группе, второе к первой группе, третье — ко второй группе; к передовым предприятиям можно отнести только вторую группу.

Задача 3

Анализ эффективности использования земельных угодий в сельскохозяйственных районах области позволил выделить регионы с низким, А и высоким В уровнями использования земли. С помощью дискриминантного анализа провести классификацию трёх последних районов по показателям объёма реализованной продукции растениеводства и животноводства с 1 га посевной площади. [4, 264]

Таблица 2.3

Решение

Ответ: третий район можно отнести к районам с высоким уровнем использования земли.

Заключение

Предметом наблюдения и изучения многомерных статистических методов выступают как параметрические, так и непараметрические (качественные порядковые или ранговые) связи, детерминированные и недетерминированные (стохастические), массовые и робастные, реальные и ложные, наблюдаемые и ненаблюдаемые (латентные) связи, т. е. все виды и формы связей, недоступные для простого наблюдения и изучения. При этом разнородность наблюдаемых объектов и многообразие признаков, характеризующих их, неочевидность и разнонаправленность взаимосвязей между ними определяются многомерной природой наблюдаемых явлений, формирующих сложное матричное множество пересекающихся неоднородных объектов и комплексных признаков, выявление и изучение которых невозможны с помощью простых одномерных методов. В результате возникает объективная необходимость обращения к методам многомерного анализа данных, успех в применении которых определяется знанием природы изучаемых объектов, их размерности и многообразных форм многомерных взаимосвязей.

Многообразие методов многомерного анализа обусловлено объективным многообразием изучаемых явлений, которые данные методы призваны отображать и измерять. Ценность их определяется тем, насколько каждый из них и все они адекватны изучаемым предметам, полно и достоверно выявляют и объясняют скрытые причинно-следственные связи признаков, которые не могут быть установлены и предъявлены с помощью плоских одномерных расчётов и примитивных цифровых иллюстраций.

Распространённое пренебрежение этими методами, игнорирование их в условиях принятия сложных управленческих решений чревато большими упущенными выгодами и потерями материальных, трудовых и финансовых ресурсов, которые вне реализации оптимальных схем используются некомплексно, а, следовательно, неэффективно. Отсюда вытекает объективная необходимость изучения методов многомерного анализа данных и, несмотря на сложные процедуры их приложения, столь же объективная целесообразность их широкого практического применения.

В отличие от простых одномерных методов, оперирующих ограниченными, и, как правило, однородными наборами объектов наблюдения и очевидными взаимосвязями между их признаками, многомерные методы имеют дело с неограниченными и разрозненными наборами наблюдаемых объектов и неочевидными и, как правило, многообразными и разнонаправленными взаимосвязями между их признаками.

Фундаментальное отличие состоит в том, что само множество наблюдаемых объектов и признаков, как и гипотезы и закономерности распределения и изменения их значений в пространстве и времени, здесь неизвестны и не даны, а должны быть найдены, выступая каждый раз не только целью определения исходных условий, но и сущностью самого исследования.

Список литературы

1. Василенков В. П. Теория вероятностей и математическая статистика В. В. Алексеенков, Василенков В. П Учебно-методическое пособие для студентов специальности «Прикладная информатика в менеджменте» / Смол. гос. ун-т. — Смоленск: Изд-во СмолГУ, 2010. — 100 с.

2. Айвазян С. А. Прикладная статистика. Классификация и снижение размерности. Айвазян С. А., Бухштабер В. М. Енюков И.С. М.: Финансы и статистика, 1989.

3. Андерсон Т.

Введение

в многомерный статистический анализ / Пер. с англ. М. ГИФМЛ, 1963. 500 с.

4. Дубров А. М. Многомерные статистические методы Дубров А. М., Мхитарян В. С., Трошин Л. И.: учебник, М.: Финансы и стaтистика, 2003. 352 с. ил.

5. Иванова В. М. Математическая статистика Иванова В. М., Калинина В. Н и др. М.: Высшая школа, 1981.

6. Кендаллл М. Многомерный статистический анализ и временные ряды Кендаллл М., Стьюарт А. М.: Наука, 1976.

7. Колмогоров А. Н. Основные понятия теории вероятностей. М.: Наука, 1974. 120 с.

8. Кофман А.

Введение

в теорию нечетких множеств. М.: Радио и связь, 1982. — 432 с.

9. Мхитарян В. С. Статистические методы в управления качеством продукции. М.: Финансы и статистика, 1982.

10. Симчера В. М., Методы многомерного анализа статистических данных: учеб. пособие. — М.: Финансы и статистика, 2008. — 400 с.: ил.

11. http://www.exponenta.ru/soft/mathcad/

12. Макаров Е. Г. Mathkad. Учебный курс: учебное пособие.-М.:Питер, 2009.-384 с.: ил.