Учет качественных характеристик при построении регрессий

В ряде случаев для получения более точных прогнозов в регрессионных моделях требуется учесть характеристики, измеренные в номинальной или порядковой шкалах. Например, при прогнозировании спроса на смартфоны, можно учесть такие их уникальные характеристики, как установленная операционная система, тип корпуса, материал, из которого изготовлен телефон и т. д. Все эти характеристики невозможно измерить в интервальной или метрической шкалах. Можно лишь обозначить, что у данного телефона корпус металлический, есть поддержка двух SIM-карт и т. д. Все эти характеристики можно зафиксировать в виде категориальной переменной, которая будет обозначать, к какой категории можно отнести данный продукт. Например, материал корпуса телефона может быть:

• 1) стальной;
• 2) золотой;
• 3) пластиковый;
• 4) картонный;
• 5) бумажный.

В случае с ранговыми переменными есть некоторое естественное упорядочение характеристик. Например, средний месячный доход респондента может быть:

• 1) незначительным;
• 2) маленьким;
• 3) средним;
• 4) большим;
• 5) огромным.

В этой шкале нельзя дать никакую оценку отдельным категориям, однако они естественным образом упорядочены (от меньшего дохода к большему), поэтому есть соблазн включить ранговую переменную в регрессию как есть. Смысл переменной достаточно прост: чем выше ее значение, тем выше доход респондента. Однако если ее включить в регрессию в таком виде, мы сделаем грубое допущение о том, что при переходе от одной категории к другой зависимая переменная (например, продажи телефонов) изменяется одинаково. Это допущение выполнимо лишь в отдельных случаях. Действительно, продажи дешевых телефонов в группах потребителей с «незначительным», «маленьким» и «средним» среднемесячным доходом, скорее всего, будут различаться не на одну и ту же фиксированную величину. Возможно, в данном примере первая группа вообще не будет покупать телефоны, вторая будет покупать дешевые телефоны (являясь целевой аудиторией данного товара), а третья, — скорее всего, будет переключаться на более дорогие телефоны.

Итак, если в распоряжении исследователя есть данные, измеренные в номинальной либо порядковой (ранговой) шкалах, он может поступить одним из двух способов:

• 1) построить ряд регрессий по каждой категории;
• 2) построить одну регрессию, в которой учитывалось бы наличие нескольких категорий.

Второй способ зачастую бывает более целесообразным и легко осуществимым, так как, например, можно ожидать, что продажи телефонов, отличающихся только одной деталью, будут схожими, т. е. ряд факторов, включенных в регрессию, будет одинаково влиять на величину продаж. Однако при этом очевидно, что какие-то различия будут.

Чтобы учесть различные категории на основе одной имеющейся категориальной переменной, состоящей из т категорий, нужно создать т так называемых «фиктивных переменных» (по-английски это называется «dummy») переменных, которые принимают значение «1», если данное наблюдение обладает указанной характеристикой, и «О» — если не обладает.

Для нашего примера с корпусами будет создано пять фиктивных переменных, которые мы условно назовем по-английски (так, чтобы потом было легко идентифицировать переменную):

• 1. Steel — принимает значение «1», если мы рассматриваем телефон со стальным корпусом и «О» в обратном случае.
• 2. Gold — «1», если корпус из золота и «О» в противоположном случае.
• 3. Plastic — «1», если пластик и «О», если нет.
• 4. Carton — «1», если сделан из картона и «О», если не из картона
• 5. Paper — «1», если корпус выполнен в бумаге и «О», если нет.

Для любого телефона, рассматриваемого нами, какая-то одна из фиктивных переменных будет равна «1», а все остальные — «О».

Покажем теперь, как можно включить созданные нами переменные в модель регрессии. Предположим, что мы выяснили, что продажи мобильных телефонов, скорее всего, зависят от их характеристик, цены и доходов потребителей, что может быть записано в виде модели регрессии:

где г/, — объем продаж в штуках; х_{{ t} — стоимость телефона в рублях; x_{2 t} — средний месячный доход потребителей в рублях.

Если мы считаем, что разные типы продукции будут продаваться по-разному, вне зависимости от каких бы то ни было факторов (например, картонные телефоны будут в среднем продаваться хуже, чем стальные), то мы можем просто напрямую включить наши фиктивные переменные в модель и найти соответствующие коэффициенты МНК:

Такое представление позволяет легко определить, какими будут продажи отдельных категорий продукции. Например, продажи золотых мобильных телефонов будут:

так как в данном случае gold = 1, в то время как все остальные фиктивные переменные равны нулю.

Стоит, однако, заметить, что в модель мы включили лишь четыре фиктивные переменные из пяти. Вызвано это чисто техническими соображениями. Так, если включить все пять переменных, то коэффициенты такой модели рассчитать не удастся из-за идеальной мультиколлинеарности. Возникает она из-затого, что в этом случае для любого наблюдения сумма фиктивных переменных будет равна 1. Одновременно с этим константу в модели можно представить как коэффициент, умноженный на 1. В результате этого в модели появляется функциональная зависимость между значениями перед константой и суммой фиктивных переменных. Эта проблема называется «ловушкой фиктивных переменных». Чтобы ее избежать, можно либо включить в модель т — 1 фиктивную переменную, либо включить все, но убрать константу. Если воспользоваться первым вариантом, то отброшенная фиктивная переменная будет выступать «эталоном». Действительно, в уравнении (4.65) была отброшена фиктивная переменная «paper», в результате чего для мобильных телефонов, сделанных из бумаги, мы будем получать простую регрессию вида (4.64) (т.е. в нашем случае для оценки продаж мы выбрали бумажные телефоны в виде «эталона»). В модели (4.66) при этом коэффициент Ь₂ будет показывать среднюю разницу в продажах золотых и бумажных мобильных телефонов.

Чтобы лучше понять смысл фиктивных переменных, рассмотрим следующий графический пример (рис. 4.14).

Рис. 4.14. Точечная диаграмма по условному ряду данных зависимости г/ от х.

Данную точечную диаграмму можно воспринять по-разному, в зависимости от информированности исследователя относительно объекта исследования и данных, с которыми он работает:

1. Если не учитывать возможность разных категорий в объекте исследования (либо не учитывать, что с течением времени зависимость между у и х могла измениться), то трактовка диаграммы на рис. 4.14 сводится к тому, что между у и х имеется средняя связь с некоторой постоянной дисперсией. Эта мысль может быть представлена графически, если провести прямую линию через все облако точек. Получим график как на рис. 4.15, в котором не делается никакого деления на категории.

Рис. 4.15. Точечная диаграмма по условному ряду данных зависимости у от х и регрессионная линия, построенная по всему ряду.

2. Если же, изучив данные, мы придем к тому, что имеем дело с разными категориями, то можно обратить внимание на то, что на рис. 4.14 наблюдается два облака точек: одно чуть выше другого. Линия, построенная на рисунке 4.15, прошла прямо посередине между этими облаками. Воспринимая ситуацию таким образом, можно сказать, что между у и х имеется достаточно сильная зависимость, которая меняется в категориях (либо изменилась каким-то образом во времени). Этому случаю соответствует график на рис. 4.16, на котором явно наблюдается разница в константах для двух ситуаций на 20 единиц (точки пересечения прямых с осью ординат примерно соответствуют значениям 70 и 50).

Рис. 4.16. Точечная диаграмма по условному ряду данных.

зависимости у от х и регрессионные линии, построенные по разным категориям Вторая ситуация в нашем примере более правдоподобна и, как видим, такой подход позволяет более точно описать зависимость между у и х. Введение фиктивных переменных таким образом, как это было сделано в (4.65), позволяет достичь эффекта, показанного на рис. 4.16 за счет изменения значения константы в зависимости от категории.

Однако возможна и другая ситуация, требующая включения фиктивных переменных в модель (рис. 4.17).

На этом рисунке на себя обращает внимание то, что два облака, сформированных из-за наличия различных категорий объекта, отличаются друг от друга, скорее, не уровнем ряда, а углом наклона. Это говорит о том, что в разных категориях влияние х на у различно: в одном случае рост х на 1 приводит к более значительному изменению г/, нежели во втором. Чтобы смоделировать такую зависимость, фиктивные переменные нужно добавить уже не в константу, а в угол наклона. Делается это путем перемножения соответствующих фиктивных переменных на значение х.

Обратимся к нашему примеру с мобильными телефонами. Для того чтобы учесть, что изменение цены на телефоны с различными видами корпусов по-разному отразится.

Рис. 4.17. Точечная диаграмма по условному ряду данных зависимости у от х и регрессионные линии, построенные по разным категориям на их продажах, включим фиктивные переменные следующим образом:

В полученной регрессии (4.67) так же, как и в регрессии (4.65) мы включили только четыре из пяти фиктивных переменных для того, чтобы избежать «ловушки фиктивных переменных». Эталоном здесь так же, как и в (4.65) выступает телефон с бумажным корпусом — для которого мы все так же будем приходить к регрессии (4.64). Если же, например, рассмотреть, каковы будут продажи золотых телефонов, то нужно переписать уравнение (4.67) с учетом того, что для таких телефонов gold = 1, а остальные фиктивные переменные равны нулю:

Как видим, для таких телефонов угол наклона составляет уже не а_х, а (а_л + с,), т. е. таким введением фиктивных переменных мы добились желаемого эффекта.

Оценка коэффициентов регрессии (4.67) осуществляется простым МНК. Фактически в данном случае мы создаем ряд переменных «steel-х_и», «gold-x_lt» и т.н., которые включаются в финальную множественную регрессию.

При желании фиктивные переменные можно ввести, как в константу, так и в углы наклона для каждого из факторов. Тогда в общем случае модель с фиктивными переменными для нашего примера будет выглядеть следующим образом:

В (4.69) мы имеем дело с несколькими видами товара, которые продаются совершенно разным образом. В данном случае возникает вопрос целесообразности рассмотрения общей регрессии с фиктивными переменными. Действительно, если мы приходим к тому, что для каждого типа продукции фактически получается отдельная регрессия, зачем же строить нечто общее и заниматься введением фиктивных переменных и оценкой коэффициентов такой большой модели. Единственное преимущество в таком подходе в данном случае заключается в чисто формальных соображениях, — в том, что модель (4.69) будет иметь большее число степеней свободы.

Например, если в нашем распоряжении имеется выборка из 50 наблюдений, в которых данные собраны по пяти категориям продукции (по 10 наблюдений на каждую категорию), то в случае построения отдельных регрессий вида (4.64) мы будем получать 10 — 3 = 7 степеней свободы для каждой из них. В случае же построения регрессии вида (4.69) мы будем получать 50 — 3 • 5 = 35 степеней свободы. В результате этого модель (4.69), скорее всего, будет статистически значимой, а аналогичная ей модель (4.64), построенная по отдельному типу продукции, может оказаться незначимой при той же описательной способности. Точечные прогнозы, но продажам при этом будут абсолютно идентичными. Единственное существенное различие в данном случае будет заключаться в дисперсии остатков. Действительно, в первой модели дисперсия будет рассчитываться лишь по остаткам по продажам одного типа продукции, в то время как во второй модели к этим остаткам добавятся остатки по всем остальным категориям товара. Однако однозначно заключить, что лучше, нельзя. Получив усредненную дисперсию остатков для всех наблюдений (не учитывая индивидуальные особенности остатков по категориям), мы исказим дисперсию продаж каждого конкретного типа продукции, что приведет к некорректному прогнозному интервалу. Если же мы рассчитаем дисперсию остатков для продаж отдельного типа продукции, го можем получить недостоверное значение из-за малого числа наблюдений, что также может привести к слишком широкому или же слишком узкому прогнозному интервалу.

Однозначного выбора в пользу простой регрессии по отдельной категории или регрессии с фиктивными переменными нет. Исследователю в каждом конкретном случае нужно основывать свой выбор не на формальных статистических критериях, а исходя из основных принципов прогнозирования (принципы системности, природной специфичности и оптимальности затрат на прогнозирование).