Нелинейные модели регрессии

В главе рассматриваются нелинейные регрессионные модели — основные типы, области использования, методы оценки параметров и оценки качества.

Нелинейные модели регрессии

Линейные регрессионные модели, рассмотренные в предыдущих темах, обладают тем свойством, что они линейны по переменным (переменные входят в модель в первой степени) и линейны по параметрам (параметры выступают в качестве коэффициентов при переменных). Однако нс все экономические зависимости можно выразить или достаточно адекватно приблизить линейными функциями. Многие экономические зависимости не являются линейными по своей сути, поэтому использование для их изучения линейных моделей может привести к неадекватным результатам [2]. Так, при исследовании зависимости спроса от цены часто используют логарифмические модели, при анализе издержек от объема выпуска наиболее обоснована полиномиальная (кубическая) модель, а при рассмотрении производственных функций обычно используются степенные модели.

Рассмотрим некоторые (наиболее часто используемые на практике) нелинейные модели, для которых возможно сведение к линейным. Для того чтобы свести нелинейную модель к линейной {линеаризовать модель), обычно с помощью некоторых преобразований переменных нелинейную модель представляют в виде линейного соотношения между преобразованными переменными, оценивают коэффициенты этого соотношения и затем с помощью обратного преобразования находят оценки параметров исходной нелинейной модели. Сразу заметим, что не всякая нелинейная модель может быть оценена подобным образом, в ряде случаев невозможно подобрать подходящее преобразование, линеаризующее модель. В этом случае приходится использовать методы нелинейной оптимизации.

Говоря о нелинейных моделях, часто выделяют модели, нелинейные по переменным (но линейные относительно параметров), и модели, нелинейные по оцениваемым параметрам.

Оценка моделей, нелинейных по объясняющим переменным, но линейных по оцениваемым параметрам, нс представляет особой сложности: в этом случае обычно используют замену переменных для сведения модели к линейной и оценки параметров с помощью обычного МНК (примененного к модели с замененными переменными).

Так, в случае полиномиальной зависимости степени к

с помощью замены переменных.

получаем линейную модель множественной регрессии с к объясняющими переменными.

Оценки параметров этой линейной модели находят с помощью обычного МНК.

На практике среди подобных полиномиальных регрессий наиболее часто встречаются полиномы второй степени (квадратичная или параболическая регрессия).

и третьей степени (кубическая регрессия).

Так, квадратичная функция может отражать зависимость между объемом выпуска и издержками (средними или предельными) или между расходами на рекламу и прибылью. Обычно эта функция используется тогда, когда внутри рассматриваемого интервала изменения фактора прямой или обратный характер зависимости изменяется на противоположный. Кубическая функция в макроэкономике часто используется для выражения зависимости общих издержек от объема выпуска. Полиномиальные функции хорошо подходят для моделирования эффекта масштаба, анализа максимумов и минимумов.

Модель вида.

называется обратной (гиперболической) моделью.

Эта модель сводится к линейной с помощью замены.

Данная модель обычно применяется в тех случаях, когда неограниченное увеличение объясняющей переменной л: асимптотически приближает зависимую переменную у к некоторому пределу. Обратные функции хорошо подходят для моделирования эффектов полного насыщения и ограниченности. В зависимости от знаков коэффициентов можно выделить следующие характерные случаи (рис. 4.1.1).

Рис. 4.1.1.

Зависимость, изображенная на рис. 4.1.1а, может отражать зависимость между объемом выпуска и средними фиксированными издержками. График, изображенный на рис. 4.1.16, — зависимость между доходом и спросом на блага (например, на товары первой необходимости либо товары относительной роскоши) — это пример так называемых функций Торнквиста. Примером зависимости такого вида могут служить также кривые Энгеля, отражающие взаимосвязь между доли расходов на товары длительного пользования и общих сумм расходов (или доходов).

Важным случаем функции, график которой изображен на рис. 4.1.1а, является кривая Филлипса, отражающая зависимость между процентным изменением заработной платы от уровня безработицы, выраженного в процентах.

Модель вида.

также является обратной моделью и может быть приведена к линейной модели: обращая обе части равенства, получаем линейную форму относительно переменной /у

которая окончательно линеаризуется с помощью замены

Возможны и другие модели, нелинейные, но объясняющим переменным, которые линеаризуются заменой переменных.

Например, линейно-логарифмические (полулогарифмические) зависимости.

которые приводятся к линейной форме заменой.

Подобные зависимости также используются при моделировании кривых Энгеля и характеризуются тем, что логарифм при объясняющей переменной снижает влияние роста этой переменной (степень влияния х снижается с ростом л;). Таким образом, можно моделировать эффекты насыщения на уровне скорости роста: «возрастание с убывающей скоростью».

С помощью замены переменных возможна также оценка зависимостей с квадратными корнями, например

которые с помощью замены.

приводятся к линейной модели.

Нетрудно видеть, что произвольная комбинация зависимостей, приведенных выше, может быть линеаризована с помощью соответствующих замен переменных.

Несколько более сложным случаем является оценка параметров в случае нелинейности модели по параметрам, т. к. непосредственное применение МНК для их оценивания невозможно. В этом случае подходящим преобразованием (обычно связанным с логарифмированием по основанию с) иногда удастся привести модель к линейному виду.

Так, в случае степенной зависимости.

прологарифмировав обе части, получим.

Полученная линейная модель, в которой и зависимая, и объясняющая переменные заданы в логарифмическом виде, иногда называется двойной логарифмической моделью. После замены переменных

мы получаем линейную модель y = a + fix + ?, для которой с помощью обычного МНК можно найти оценки параметров: а является оценкой а> b — оценкой р. После этого оценки параметров в исходной модели (4.1.4) находят с помощью обратного преобразования.

Степенная функция может использоваться при изучении зависимости спроса у на некоторое благо от его цены л; (в данном случае Р < 0) или от дохода х (в данном случае /?> 0); при такой интерпретации переменных такая функция называется функцией Энгеля. Эта функция может также отражать зависимость объема выпуска от использования ресурса (производственная функция), в которой 0</?< 1, а также ряд других зависимостей. Примерные графики рассматриваемых степенных (логарифмических) зависимостей приведены на рис. 4.1.2.

Следует также заметить, что изокванты часто встречаются в экономических моделях (рис. 4.1.3).

Рис. 4.1.2.

В эконометрическом анализе широко применяется показательная модель вида.

Эта зависимость также приводится к линейной форме с помощью логарифмирования 1п_>> = па + пР’Х + пе и замены переменных

Рис. 4.1.3.

В результате получаем линейную модель

Оценки параметров в исходной модели (4.1.5) получаются из оценок МНК а, Ъ линеаризованной модели с помощью обратного преобразования по формулам

Аналогично проводится линеаризация показательной (экспоненциальной) зависимости вида.

На практике эта зависимость часто встречается при анализе изменения зависимой переменной у_у которая имеет постоянный темп прироста во времени. В этом случае часто пишут у — аеРе. Данная функция путем логарифмирования и замены переменных также сводится к линейной модели.

где

Оценки параметров исходной модели получаются из оценок параметров линеаризованной модели обратным преобразованием.

Как нетрудно заметить, последние две модели сводятся к логарифмически линейной (логлинейной) зависимости.

которая легко сводится к линейной форме.

Подобные зависимости используются при моделировании эффектов насыщения на уровне скорости роста, т. и. «возрастание с возрастающей скоростью». Примерами использования подобных зависимостей являются кривые Энгеля для товаров роскоши и товаров, спрос на которые проявляется при большом доходе, моделирование оплаты труда (процентная надбавка за стаж или опыт). Эти функции также хорошо подходят для моделирования эффектов, которые проявляются в процентном выражении в ответ на абсолютный рост факторов (вознаграждение).

Частным случаем логлинейной модели является зависимость, хорошо известная в банковском и финансовом деле:

где у₀ — начальная величина переменной у (например, первоначальный вклад в банке); г — сложный темп прироста величины у (процентная ставка); у_г — значение величины у в момент времени t (вклад в банке в момент времени /). Модель (4.1.8) легко сводится к полулогарифмической модели: прологарифмировав, получаем:

Обозначив lnj>₀ =а, 1п (1 + г) = /?, получаем логлинейную зависимость.

Г рафик логлинейной зависимости представлен на рис. 4.1.4.

К линейному виду приводима и логистическая функция вида.

Обращая обе части равенства, имеем.

Прологарифмировав теперь обе части, получим линейную форму в которой осталось только сделать замены.

Приведенные выше модели легко обобщаются на случай нескольких переменных и композиции перечисленных выше функций. Например, для оценки хорошо известной производственной функции Кобба-Дугласа (с учетом влияния случайных возмущений, присущих всякому экономическому явлению)

после логарифмирования получаем линейную двойную логарифмическую форму

Для этой модели множественной линейной регрессии нетрудно найти оценки параметров с помощью классического МНК, с их помощью нетрудно получить оценки параметров исходной зависимости. Коэффициенты а и р представляют собой эластичности, их сумма указывает на эффект масштаба.

С учетом научно-технического прогресса производственная функция Кобба-Дугласа принимает вид.

После логарифмирования также получаем линейную модель.

с помощью которой можно найти оценки параметров исходной зависимости.

К сожалению, не всякая нелинейная зависимость может быть приведена к линейной с помощью замены переменных и/или их преобразования. Так, например, зависимости.

не могут быть преобразованы в линейную форму. В таких случаях используют специальные нелинейные итеративные процедуры оценивания параметров.