Обобщенный метод наименьших квадратов

В тех случаях, когда все пять предпосылок МНК выполняются, рассматриваемая модель называется классической нормальной линейной регрессионной моделью (Classical Normal Linear Regression model) Если распределение случайных остатков ε_i не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

При нарушении гомоскедастичности и при наличии автокорреляции ошибок рекомендуется традиционный метод наименьших квадратов (известный в английской терминологии как метод OLS – Ordinary Least Squares) заменять обобщенным методом, т. е. методом GLS (Generalized Least Squares).

Обобщенный метод наименьших квадратов применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии. Специфика обобщенного МНК, применительно к корректировке данных при автокорреляции остатков, будет рассмотрена далее. Здесь остановимся на использовании обобщенного МНК для корректировки гетероскедастичности.

Как и раньше, будем предполагать, что среднее значение остаточных величин равно нулю. А вот дисперсия их не остается неизменной для разных значений фактора, а пропорциональна величине K_i, т. е. , где - дисперсия ошибки при конкретном i – ом значении фактора, - постоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастичности остатков, K_i – коэффициент пропорциональности, меняющий с изменением свою величину, что и обуславливает неоднородность дисперсии. При этом предполагается, что неизвестна, а в отношении величины K выдвигаются определенные гипотезы, характеризующие структуру гетероскедастичности.

В общем виде для уравнения при , модель примет вид: . В ней остаточные величины гетероскедастичны. Предполагая в них отсутствие автокорреляции, можно перейти к уравнению с гомоскедастичными остатками, поделив все переменные, зафиксированные в ходе i – ого наблюдения, т. е. .

Иными словами, от регрессии y по x мы перейдем к регрессии на новых переменных: , и . Уравнение регрессии примет вид:

.

Исходные данные для данного уравнения будут иметь вид:

, .

По отношению к обычной регрессии уравнение с новыми, преобразованными переменными, представляет собой взвешенную регрессию, в которой переменные y и x взяты с весами .

Оценка параметров нового уравнения с преобразованными переменными приводит к взвешенному методу наименьших квадратов, для которого необходимо минимизировать сумму квадратов отклонений вида:

Соответственно получим следующую систему нормальных уравнений:

.

Если преобразованные переменные x и y взять в отклонениях от средних уровней, то коэффициент регрессии b можно определить как:

.

При обычном применении метода наименьших квадратов к уравнению линейной регрессии для переменных в отклонениях от средних уровней, коэффициент регрессии b определяется по формуле:

.

Как видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности, коэффициент регрессии b представляет собой взвешенную величину по отношению к обычному МНК, с весами .

Аналогичный подход возможен не только для уравнения парной, но и множественной регрессии. Предположим, что рассматривается модель вида:

,

для которой дисперсия остаточных величин оказалась пропорциональна . - коэффициент пропорциональности, принимающий различные значения для соответствующих i значений факторов и . Ввиду того, что , рассматриваемая модель примет вид:

,

где ошибки гетероскедастичны. Чтобы получить уравнение, где остатки гомоскедастичны, перейдем к новым преобразованным переменным, разделив все члены исходного уравнения на коэффициент пропорциональности K. Уравнение с преобразованными переменными составит:

.

Это уравнение не содержит свободного члена. Вместе с тем, найдя переменные в новом преобразованном виде и применяя обычный МНК к ним, получим иную спецификацию модели:

.

Параметры такой модели зависят от концепции, принятой для коэффициента пропорциональности . В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки пропорциональны значениям фактора. Так, если в уравнении:

предположить, что , т. е. и , то обобщенный МНК предполагает оценку параметров следующего трансформированного уравнения:

.

Если предположить, что ошибки пропорциональны , то модель примет вид:

.

Применение в этом случае обобщенного МНК приводит к тому, что наблюдения с меньшими значениями преобразованных переменных x/K имеют при определении параметров регрессии относительно больший вес, чем с первоначальными переменными. Вместе с тем, следует иметь ввиду, что новые преобразованные переменные получают новое экономическое содержание, и регрессия по ним имеет иной смысл, чем регрессия по исходным данным.

Пусть y – издержки производства, x₁ – объем продукции, x₂ – основные производственные фонды, x₃ –численность работников, тогда уравнение

является моделью издержек производства с объемными факторами. Предполагая, что пропорциональна квадрату численности работников x₃, мы получим в качестве результативного признака - затраты на одного работника, а в качестве факторов – показатели - - производительность труда, - фондовооруженность труда. Соответственно исходная модель примет вид:

,

где параметры , , численно не совпадают с аналогичными параметрами предыдущей модели. Кроме того, коэффициенты регрессии меняют экономические содержание: из показателей силы связи, характеризующих среднее абсолютное изменение издержек производства с изменением абсолютной величины соответствующего фактора на единицу, они фиксируют при обобщенном МНК среднее изменение затрат на 1 работника, с изменением производительности труда на единицу, и неизменном уровне фондовооруженности труда; и с изменением фондовооруженности труда на единицу при неизменном уровне производительности труда.

Если предположить, что в модели с первоначальными переменными дисперсия остатков пропорциональна квадрату объема продукции, , то тогда мы перейдем к уравнению регрессии вида:

.

В нем новые переменные: - затраты на единицу (или на один рубль продукции), - фондоемкость продукции, - трудоемкость продукции.

Гипотеза о пропорциональности остатков величине фактора может иметь реальное основание: при обработке недостаточно однородной совокупности, включающей как крупные, так и мелкие предприятия, большим объемным значениям фактора может соответствовать и большая дисперсия результативного признака, и большая дисперсия остаточных величин.

При наличии одной объясняющей переменной гипотеза трансформирует линейное уравнение:

,

в уравнение

,

в котором параметры α и β поменялись местами, константа стала коэффициентом наклона линии регрессии, а коэффициент регрессии – свободным членом. Так, например, рассматривая зависимость сбережений y от дохода x, по первоначальным данным было получено уравнение регрессии:

.

Применяя обобщенный МНК к данной модели в предположении, что ошибки пропорциональны доходу, было получено уравнение для преобразованных данных:

.

Коэффициент регрессии первого уравнения сравнивают со свободным членом второго уравнения, т. е. 0,1178 и 0,1026 – оценки параметра b зависимости сбережений от дохода.

Переход к относительным величинам существенно снижает вариацию фактора и соответственно уменьшает дисперсию ошибки. Он представляет собой наиболее простой случай учета гетероскедастичности в регрессионных моделях с помощью обобщенного МНК. Возможны и усложнения рассмотренный процедуры за счет выдвижения иных гипотез о пропорциональности ошибок относительно включенных в модель факторов. Например, , т. е. рассматривается характер взаимосвязи от . Использование той или иной гипотезы предполагает специальные исследования остаточных величин для соответствующих регрессионных моделей. Применение обобщенного МНК позволяет получить оценки параметров модели, обладающие меньшей дисперсией.

Обобщённый МНК устраняет гетероскедастичность, если известна взаимосвязь ошибок регрессии с фактором х (например, на основе рассмотренных тестов гетероскедастичности). Иными словами, должны быть установлены коэффициенты пропорциональности К_i, что и приводит к взвешенному методу наименьших квадратов.