Основы регрессионного анализа в прогнозировании

Задача прогнозирования стационарных однородных процессов довольно проста. Значительно более сложной представляется задача прогнозирования стационарных процессов, протекающих в условиях неоднородности внешней среды. Стационарные процессы, как об этом было сказано в первой главе учебника, характеризуются тем, что они не претерпевают качественных изменений, т. е. не меняют свою структуру, силу и направление взаимосвязей между элементами. Но поскольку эти процессы наблюдаются в условиях неоднородной среды, эта неоднородность оказывает влияние на количественные характеристики процесса — помимо случайных факторов на него воздействуют факторы неслучайной природы. Рассмотрим вначале простой случай, когда на прогнозируемый показатель у оказывает влияние только один фактор х, и это влияние является линейным, т. е. между переменными имеется следующая регрессионная зависимость:

Пусть функция плотности распределения случайной величину у имеет вид /(г/, 0), где у — это изучаемые случайные величины (у = y_v у₂, …)> 0 — некоторый параметр. Тогда событие, заключающееся в независимом отборе из этой совокупности Т элементов, в соответствии с теоремой умножения вероятностей независимых событий будет описываться следующей общей функцией плотности вероятностей:

Так как случайные величины (у = y_it у₂, Ут) уже имеются в распоряжении исследователя, то неизвестной переменной выступает параметр 0. В рамках заданной функции плотности вероятности различные значения этого параметра приводят к тому, что случайные величины (.у =у, у₂,…, у?) принимают разные значения. Но в рассматриваемом случае эти величины нам заданы, следовательно, есть некоторое значение параметра 0, которому и соответствует имеющаяся выборка. Наша задача — найти это неизвестное значение параметра.

Теперь можно сформулировать правило нахождения данного параметра. Надо найти оценки 0 так, чтобы придать максимальное правдоподобие высказанному предположению о характере распределения вероятностей, в соответствии с которым получена данная выборка. Иначе говоря, нам надо найти такое значение параметра 0, при котором функция плотности вероятностей (3.63) принимала бы максимальные значения. Это правило, предопределяющее направление поиска наилучших оценок параметров модели, получило название метода максимального правдоподобия. Так как нами априорно задан закон распределения вероятностей /, то, подставляя его математическое выражение в формулу (3.63), сводим тем самым задачу к поиску максимального значения этой функции по неизвестному параметру 0. Можно применить этот подход непосредственно к функции (3.63), но значительно проще свести задачу от мультипликативной формы (3.63) к линейной аддитивной форме с помощью логарифмирования, например, но натуральному основанию:

Правомерно ли это? Так как п f (y) есть монотонная функция от самой /(у), то ее максимум достигается в той же самой точке, что и у исходной функции. Возьмем первую производную (3.64) по параметру 0:

Так как функция (3.63) но определению не равна нулю в точке своего максимума, то в этой точке из равенства.

^а|п/(у"г/_г…,.у_г.й) «?{У>У2…У/ • 9).

—-.0 следует-^-= 0.

Покажем, как, используя метод максимального правдоподобия, получить искомые оценки коэффициентов линейной зависимости. Пусть закон плотности распределения вероятностей соответствует нормальному:

Так как моделью процесса выступает линейная регрессия, то параметр 0 представляет собой уравнение этой модели, т. е.

Подставим (3.66) и (3.67) в (3.64). Получим.

Наша задача — нахождение максимума этой функции по параметрам а₀ и а_л. Легко убедиться в том, что первое слагаемое полученного выражения не зависит от этих параметров, поэтому максимум функции (3.68) равнозначен нахождению максимума такой функции:

В свою очередь, так как сомножитель перед знаком суммы есть величина постоянная (неизвестны только а₀ и а_х) и отрицательная, то максимум этой функции соответствует минимуму другой функции:

Полученная функция соответствует известной в математической статистике сумме квадратов ошибок, минимизация которой позволяет найти оценки методом наименьших квадратов (МНК), ведь теперь нам нужно минимизировать сумму квадратов отклонений расчетных значений от фактических. Следовательно, принцип максимального правдоподобия в случае, когда есть основания утверждать наличие нормального закона распределения вероятностей, в качестве лучшего метода оценки параметров модели характеризует метод наименьших квадратов. А с учетом того, что для стационарных процессов чаще всего наблюдается именно нормальный закон вероятностей, то МНК получил максимальное распространение на практике.

Обратим внимание на одно следствие из полученных результатов: в случае, если остатки модели не распределены нормально, вместо МНК имеет смысл использовать метод максимального правдоподобия с другим заданным априори законом распределения случайной величины. Например, в ситуации, когда в качестве зависимой переменной выступает целочисленная величина (такая как количество посетителей кафе), в качестве такого закона можно использовать Пуассоновское распределение.

Применительно к нашей модели линейной регрессии условие минимума квадратов отклонений сводится к нахождению первых производных функции (3.69) по неизвестным параметрам а₀ и а_х и приравниванию их к нулю, т. е.

Отсюда легко найти систему уравнений, которая в данном случае будет называться «системой нормальных уравнений», поскольку соответствует нормальному закону распределения:

Пример В табл. 3.2 приведены значения изменения производительности труда сдельщика в зависимости от величины расценки за единицу труда. Необходимо оценить значения коэффициентов линейной регрессионной модели с тем, чтобы в последующем использовать эту модель для прогнозирования.

Таблица 3.2

Изменение производительности труда при увеличении сдельной оплаты.

Используя данные табл. 3.2, найдем необходимые суммы и подставим.

[337 = 14я₀ + 4,8Ц, их в систему нормальных уравнений (3.71) •{, _Л

[122,1 = 4,81 670+1,7293^.

Решая эту систему, получим такое уравнение регрессии: у, = 82, Зд; - 4,2. Графически эту модель мы представили на рис. 3.5.

Рис. 3.5. Точечная диаграмма зависимости между расценками за единицу продукции (ось Олт) и количеством произведенной продукции (ось 0у), а так же построенная модель парной регрессии (прямая линия) Как видим, построенная модель проходит посередине «облака», образованного из точек по нашим данным.

Эта модель описывает исходные данные с ошибкой, дисперсия которой равна =0,992. Средняя относительная ошибка аппроксимации sMAPE = 3,30%.

Теперь уравнение регрессии можно использовать для прогнозирования. Например, с помощью этой модели можно спрогнозировать производительность труда рабочего, если поднять расценку до 0,54 руб/шт. Для этого в полученную прогнозную модель надо подставить х = 0,54 и выполнить расчет:

Это значение на графике изображено ромбиком в правой верхней части.

Зададим доверительную вероятность, равную 0,95. Для 14 наблюдений при этой доверительной вероятности из таблиц^{-статистики} Стьюдента получим значение t = 2,18.

Тогда можно с вероятностью 0,95 ожидать, что при расценке в 0,54 руб/шг. рабочий будет вырабатывать:

Для получения более точных границ необходимо строить доверительный интервал, исходя из расчета условного математического ожидания и дисперсии, т. е. рассмотреть М (у[х) и D (yx) на основе коэффициентов модели и дисперсии ошибки модели.

Коэффициенты модели парной регрессии вида y_t=a₀+a_{x_t+z_t могут быть найдены и по более простым формулам. Чтобы вывести их, центрируем предварительно значения х и у. Так мы избавимся от константы в модели. Получим: у[ = а_лх[ + е₍, где у[ = у_t-у, х[ = x_t-х.

Применяя МНК к такой модели, получим уравнение с одной неизвестной Y, y't^xt ^{= а}решая которое, получим формулу * ¹

Формула для константы выводится из первого уравнения системы нормальных уравнений (3.71): =Та₀ +а₁'?х_[.

t t

Разделим левую и правую части этого уравнения на число наблюдений п и перегруппируем составляющие в формуле:

В (3.73) мы видим средние значения у и х, т. е. формулу можно представить в простом виде:

С линейными моделями прогнозисты встречаются повсеместно. Но не менее часто встречаются случаи, когда изменения показателя в зависимости от изменений фактора носят нелинейный характер и использование линейных моделей в прогнозировании ошибочно и возникает задача нахождения коэффициентов таких нелинейных моделей.

С позиций того, насколько просто удается применить МНК к оценке параметров таких нелинейных моделей, выделяют два вида моделей:

• • линейных по параметрам;
• • нелинейным по параметрам.

К первому типу моделей относят те из них, оценки МНК которых получаются либо непосредственно при применении МНК, либо при осуществлении линеаризации модели. Вторые модели невозможно привести к линейному виду с помощью подобных преобразований.

Рассмотрим сначала линейные по параметрам нелинейные модели и способы нахождения выборочных значений коэффициентов этих моделей.

Довольно просто найти оценки МНК коэффициентов моделей полиномов разных степеней, например, для квадратичной регрессии:

Применяя МНК к этой модели, получим такую систему нормальных уравнений:

Решая ее относительно неизвестных коэффициентов, можно получить оценку МНК их выборочных значений.

Известно, что полиномы высоких степеней очень неустойчивы, поэтому на практике моделей в форме полиномов со степенью больше двух стремятся избегать, хотя системы нормальных уравнений для этих моделей вычисляются довольно просто.

Также просто найти систему нормальных уравнений для других аддитивных нелинейных моделей. Например, для модели.

получим систему уравнений МНК:

решая которую, найдем оценки коэффициентов модели (3.77), соответствующие оценкам МНК.

Применение МНК к этим аддитивным моделям будет давать несмещенные оценки коэффициентов, когда сумма отклонений расчетных значений показателя от его фактических величин будет равна нулю. Это свидетельствует о том, что модель в среднем проходит через все точки так, что количество точек, расположенных выше модели, примерно равно количеству точек, расположенных ниже нее.

Но в моделях, в которых неизвестные коэффициенты представлены в мультипликативной форме, ситуация изменяется. Рассмотрим в качестве примера задачу оценивания коэффициентов одной из простых прогнозных экспоненциальных моделей:

Как следует из логики МНК, необходимо найти такие значения коэффициентов а₀ и а_х этой модели, для которых выполняется условие.

Поскольку сумма квадратов отклонений расчетных значений от фактических представляет собой функцию от двух переменных а₀ и а_{> то для нахождения этого минимума необходимо вычислить первые производные функции (3.80) от каждой из переменных и приравнять их к нулю. Решая полученную систему уравнений, можно найти искомые значения коэффициентов.

Применительно к модели (3.79) это условие запишется так:

Вычисляя первые производные каждого равенства системы (3.81) и подставляя их, получим искомую систему нормальных уравнений:

Получена система нелинейных уравнений, которую невозможно решить известными методами линейной алгебры. Для решения этой системы необходимо использовать многоитеративную процедуру одного из численных методов. Для специалиста в области экономико-математического моделирования это не составит труда, проблемы могут быть чисто методическими — необходимо выбрать один из алгоритмов нахождения оптимума численных методов, реализовывать его в той или иной программной среде и т. п., т. е. затратить относительно большой промежуток времени на решение довольно тривиальной задачи. Если прогнозист не обладает необходимыми знаниями, он эту задачу решить не сможет.

Несколько десятков лет назад, когда ученые не были вооружены вычислительной техникой так, как это имеет место сегодня, использование численных методов для решения этой задачи становилось чрезвычайно трудоемким, поэтому задача нахождения коэффициентов мультипликативных моделей решалась с помощью линеаризации нелинейных моделей. Применительно к модели (3.79) это делается так.

Прологарифмируем левую и правые части равенства (3.79) по натуральному основанию:

Как видно, в результате логарифмирования модель из мультипликативной формы превратилась в модель аддитивной формы, да к тому же еще и линейного вида. Именно поэтому подобная процедура и получила название «линеаризация».

После линеаризации задача нахождения коэффициентов модели с помощью МНК ставится следующим образом. Логарифмы фактических наблюдений y_t должны описываться логарифмами (3.82) так, чтобы сумма квадратов отклонений между ними была минимальна: ?(1пг/, — Iny_t) =.

₂ *.

= Х (& - In"о -a_xx_t)~ -> min.

t

Находя первые производные этой функции по ее параметрам In я о и а_х и приравнивая их к нулю, получим систему нормальных уравнений:

Эта система имеет довольно простое алгебраическое решение, что позволяет легко найти коэффициенты модели. Но поскольку, решая систему, находятся значения 1пя₀, а не я₀, как это необходимо для построения прогнозной модели (3.79), следует из логарифма коэффициента найти его исходное значение: а₀ = e^hwo.

Теперь полученные с помощью МНК оценки коэффициентов можно подставлять в модель и выполнять с ее помощью прогнозы.

Таким же образом поступают и с другими нелинейными моделями. Покажем, как это делается, на примере основных из них.

Если прогнозист считает необходимым использовать в качестве модели тренда степенную функцию у₍ =а₀хр, то для ее линеаризации надо вновь прологарифмировать по любому основанию левую и правую части равенства. Получим 1пр, =1пя₀+а₁1п^.

Тогда, применяя для линеаризированной модели МНК, получим систему нормальных уравнений:

Если в основании показательной степени лежит число 10, то показательная функция имеет вид.

Чтобы найти коэффициенты этой модели, необходимо ее линеаризовать. Поскольку основанием показательной степени является число 10, то и логарифмировать левую и правую части равенства (3.83) надо по десятичному основанию: lg.% = lgao ^{+ a}A;

Тогда задача ставится так — минимизировать сумму квадратов отклонений логарифмов расчетных значений от фактических. Для этого формируется система нормальных уравнений:

Решение задачи дает расчетные значения lgtf₀ и а_х. Чтобы использовать модель (3.83) в прогнозировании, находим исходное значение коэффициента а₀: а₀ = 10^lgflo.

При использовании в прогнозировании показательной модели с любым основанием.

поступают также. Но поскольку основание этой модели не равно е и не равно 10, то непонятно, по какому же основанию логарифмировать левую и правые части модели для того, чтобы линеаризовать ее? На самом деле, никакой особенной разницы здесь нет, поэтому логарифмировать можно по любому основанию. Для определенности прологарифмируем левую и правую части (3.84) по натуральному основанию: y_t = a₀+a_{x_t k.

Система нормальных уравнений для МНК применительно к этой линеаризованной модели будет иметь вид.

Из решения данной системы нормальных уравнений легко перейти к исходному виду модели (вычисляя коэффициент а₀) так, как это делается для других моделей: а₀ = е'^п«о.

Казалось бы, найдены оценки этих нелинейных моделей, и усложнять больше ничего не нужно. Надо брать полученные расчетные значения и, подставляя их в модель, вычислять для заданного прогнозного периода значения прогнозируемого показателя. Но поскольку мы вычисляем коэффициенты модели на выборочном множестве вероятного процесса, необходимо оценить доверительные границы этих коэффициентов. Тогда на основе этих границ вычисляются интервальные значения прогнозируемой величины. Эта процедура рассмотрена в параграфе 3.3.

Однако простота указанных рассуждений скрывает за собой одну непростую проблему. Дело в том, что МНК во всех случаях линеаризации нелинейных моделей применяется не для исходной, а для линеаризованной модели. Поэтому все замечательные свойства оценок коэффициентов, полученных для случайных нормально распределенных процессов с помощью МНК (состоятельность, несмещенность и эффективность), соответствуют не исходным, а линеаризованным моделям.

Напомним, что оценки коэффициентов модели будут являться состоятельными, если они по вероятности сходятся к оцениваемому параметру при неограниченном возрастании объема выборки. Чем большее число наблюдений учитывается при оценивании коэффициентов модели, тем точнее становится оценка выборочного значения коэффициента. Несмещенными называются оценки выборочного значения параметра, в которых отсутствуют систематические отклонения от оцениваемого параметра. Поскольку по выборочным значениям можно оценить коэффициенты модели разными способами, то каждый из них даст различную величину дисперсии отклонения расчетных значений от фактических. Тот метод оценивания, который даст наименьшую дисперсию, будет являться эффективным.

Доказано, что в случае нормально распределенной случайной величины, использование МНК приводит к тому, что полученные выборочные оценки будут являться состоятельными, несмещенными и эффективными. Но, эти оценки характерны для линеаризованных, а не для исходных моделей. Покажем, какими будут оценки для исходных нелинейных мультипликативных моделей. Воспользуемся для этого экспоненциальной моделью: y_t = a₀e°^lXt.

Линеаризованная модель будет описывать логарифм исходного ряда с некоторой ошибкой е: е, = y_t— y_t.

Поэтому критерий МНК.

по сути, сводится к минимизации суммы квадратов этой ошибки:

Несмещенность оценок МНК коэффициентов линеаризованной модели означает, что на рассматриваемом выборочном множестве сумма отклонений е, будет равна нулю:

Из (3.85) легко получить следующее равенство: In y_t = Iny_t + e_t, откуда.

Ошибка e_t является мультипликативной по отношению к исходной модели. Получается, что при линеаризации исследователь автоматически делает предположение о том, что ошибка в модели имеет мультипликативный вид. А это, в свою очередь, будет означать, что с ростом значения у будет расти и величина ошибки, что, конечно же, не всегда выполняется и не всегда имеет смысл.

Обозначим аддитивную ошибку отклонений расчетных значений модели от фактических через ?,_r =y_t -y_h откуда.

Левые части (3.87) и (3.88) равны друг другу, следовательно, равны друг другу и правые части этих равенств, т. е. У/¹ = It + Уt-

Тогда можно вывести аддитивную ошибку в зависимости от расчетных значений показателя и мультипликативной ошибки, характерной для оценок МНК линеаризованной модели:

Поскольку исходный ряд значений y_t положителен и не равен нулю — он изменяется по тенденции, близкой к экспоненте, — постольку и его расчетные значения положительны. Тогда из полученного равенства видно, что аддитивная ошибка ^ будет равна нулю только в одном случае, — когда мультипликативная ошибка z_t также будет равна нулю. Относительно мультипликативных ошибок е" соответствующих оценке МНК, известно, что они в сумме дают нуль (3.86), а поскольку оценки МНК состоятельны и эффективны, то дисперсия этой ошибки мала. Размахи отрицательных (e_min=mine₍) и положительных величин (e_max =maxe_f).

этих ошибок по вероятности равны друг другу: |e_mi"| = e"_iax*.

Множитель при расчетных значениях показателя представляет собой функцию, изображенную на графике рис. 3.6.

Рис. 3.6. Функция изменения множителя (e^Ft — 1) в зависимости от zt.

Зная, как ведет себя этот множитель в зависимости от мультипликативной ошибки, можно ответить и на вопрос: чему в среднем будет равна сумма отклонений т. е. как пройдет модель с коэффициентами, оцененными с помощью МНК, по линеаризованной модели?

Исходная модель будет несмещенной, если сумма.

будет равна нулю.

Равенство (3.90) с учетом (3.89) можно записать так:

Чтобы ответить на поставленный вопрос, вначале примем для простоты, что у г = const > 0.

Тогда знак суммы (3.91) определяется знаком суммы Его можно понять, если обратиться к графику рис. 3.6. Эта сумма будет представлять собой площадь фигуры, изображенной на графике двумя заштрихованными областями. Левее нулевой точки расположена отрицательная часть этой суммы, правее — положительная часть. На рисунке видно, что площадь отрицательной части меньше, чем площадь положительной. Это означает, что знак суммы будет положительным:

Поскольку у_гФ const, но при этом является положительным, знак меняться не будет.

Таким образом, линеаризация исходных моделей и применение к ним МНК приводит к смещению оценок исходных моделей. Применение МНК непосредственно к исходной модели, хотя и приводит к серьезным вычислительным сложностям, поскольку необходимо решать систему нелинейных уравнений типа (3.80), но позволяет получить несмещенные оценки модели так, что дисперсия ошибки аппроксимации при этом будет минимальной.

Кстати, из вывода о том, что сумма аддитивной ошибки модели положительна, следует вывод о том, как опишет исходный ряд модель нелинейного тренда со смещенными оценками. Подставим в (3.92) значения ошибки из (3.88): S^ = S (*/,-?,)>o.

Это означает, что модель в среднем пройдет ниже исходных точек:

t t

Следовательно, и прогноз, который будет выполняться с помощью такой модели, будет давать прогнозисту искаженные оценки.

Поэтому, хотя процедура линеаризации и используется повсеместно на практике для применения МНК, необходимо помнить, что при прогнозе такие модели будут неточными и содержащими в себе систематическую ошибку.

Пример Пусть исходный ряд представляет собой некоторую возрастающую последовательность, подчиняющуюся экспоненциальному закону изменения: y_t = 2с^0,1л' +s_f, где е, — случайная нормально распределенная величина с нулевым математическим ожиданием (табл. 3.3).

Логарифмируя исходный ряд, тем самым его линеаризуя, мы приводим его к виду, удобному для применения МНК. Третий столбец табл. 3.3 содержит эти значения. МНК, примененный к этим логарифмам так, как это показано в системе нормальных уравнений (3.83), позволяет найти значения коэффициентов линеаризованной модели:

1пр,= 0,0992*, + 0,6933.

Экспонируя полученную функцию, найдем исходную модель:

В четвертом столбце табл. 3.3 приведены эти расчетные величины. Теперь можно вычислить ошибку аппроксимации модели — она приведена в этой же таблице в последнем столбце. Просуммировав значения этого столбца по всем наблюдениям, найдем сумму ошибок аппроксимации:

=1,0860 >0;

Условный пример, демонстрирующий смещенность оценок МНК для линеаризованной модели.

Таблица 33

Окончание табл. 3.3

Как и ожидалось, эта сумма не равна нулю, а это значит, что построенная модель смещена, т. е. она в среднем проходит ниже, чем фактические наблюдения. На рис. 3.7 графически представлены фактические значения и расчетные значения, полученные по модели (3.93).

Рис. 3.7. Условный пример (сплошная линия с точками) и его аппроксимация линеаризованной моделью (пунктирная линия) и не линеаризованной моделью (сплошная линия)

Расчетные значения по модели (3.93) на рис. 3.7 изображены сплошной линией. По рисунку видно, что модель в целом достаточно хорошо усреднила исходный ряд данных, сильных проблем в модели невооруженным глазом не видно.

Однако если каждое расчетное значение модели сдвинуть вверх 1,0860.

на величину ~2j^Et ⁼ —™ — ⁼ U, Uj4o, то модель проходит через сред- Т _t=1 20.

шою арифметическую точку.

Применительно к математической форме записи модели (3.93) это означает ее модификацию к следующему виду:

Сумма ошибок аппроксимации такой модели тогда действительно станет равной нулю, но эта модель все равно не будет обладать свойствами оценок МНК (несмещенность, состоятельность и эффективность). Модели типа (3.94) иногда называют моделями модифицированной экспоненты, оценку коэффициентов которой осуществляют обычно так, как это было показано выше на условном примере.

Нормальные оценки нелинейных моделей в наше время можно найти численными методами, реализованными во многих статистических программах. Например, в MS Excel для этих целей можно воспользоваться надстройкой «Поиск решения» («Solver»). Для нашего случая надстройка позволяет минимизировать сумму квадратов отклонений y_t от у_г рассчитанных непосредственно по формуле без линеаризации y_t=^a^e^avXt.

Чтобы реализовать такой расчет, на листе MS Excel нужно выделить ячейки для коэффициентов и создать столбец с расчетными значениями, которые ссылались бы па эти ячейки. После этого нужно в отдельной ячейке оценить сумму квадратов отклонений и запустить «Поиск решения». В качестве целевой ячейки задается ячейка с суммой, в качестве «равенства» указывается «минимум», в качестве изменяющихся ячеек — выделенные ячейки с коэффициентами.

После таких расчетов мы получили модель вида.

Как видим, коэффициенты этой модели незначительно отличаются от коэффициентов модели (3.92). Однако сумма ошибок в этой модели уже равна нулю и модель оказывается несмещенной. На рис. 3.7 расчетные значения по модели изображены сплошной линией. Видно, что с ростом значения y_t усиливается расхождение между значениями по модели (3.92) и (3.95). Это расхождение иногда списывается экономистами на «научно-технический прогресс», когда они с помощью мультипликативных моделей описывают экономическую динамику, хотя, как видим, оно вызвано чисто техническими проблемами.