Многообразие оценок регрессии

Множество оценок регрессии не исчерпывается 2 n − 1 отмеченными выше элементами. Перед тем как получать любую из этих оценок, можно провести пре- образование в пространстве наблюдений или переменных.

Преобразование в пространстве наблюдений проводится с помощью матрицы D размерности N t× N, N t™ N. Обе части исходного уравнения (6.3) умножа- ются слева на эту матрицу:

DX α = D 1 N β + D ε, (6.31)

6.4. Многообразие оценок регрессии 211

после чего проводится оценка параметров любым из указанных 2 n − 1 способов. Понятно, что полученные оценки будут новыми, если только D t D ƒ= cIN, где c — любая константа.

В результате такого преобразования β может перестать являться свободным членом, если только D 1 N ƒ= c 1 N t (c — любая константа). Но, главное, меняется распределение ошибок по наблюдениям. Именно с целью изменить это распре- деление в нужную сторону (с помощью подбора матрицы D) и проводятся такие преобразования (см. гл. 8).

Преобразование в пространстве переменных осуществляется с помощью квадратной невырожденной матрицы C размерности n × n: Y = XC — пре- образованные значения переменных регрессии. И затем оцениваются параметры регрессии в новом пространстве: Yf = 1 Ng + u.

Это преобразование можно проводить в пространстве центрированных пере- менных, т.к. Y ˆ = X ˆ C.

Действительно: X ˆ C =. IN − 1 1 N 1r

. XC =. IN − 1 1 N 1r

. Y = Y ˆ.

N N N N

То есть исходное уравнение регрессии (6.7) после преобразования приобретает вид:

Y ˆ f = u. (6.32)

Оценки f являются новыми, если после «возвращения» их в исходное про- странство, которое производится умножением f слева на C, они не совпадут с оценками a, полученными в исходном пространстве, т.е. если a ƒ= Cf. Справед- ливость этого утверждения становится очевидной после следующего алгебраически эквивалентного преобразования исходного уравнения (6.7):

X ˆ C

C −1 a

= e. (6.33)

Понятно, что МНК-оценка f совсем не обязательно совпадет с C −1 a — и тогда это будет новая оценка.

После преобразования меняется распределение ошибок в переменных регрес- сии. И именно для того, чтобы изменить это распределение в нужную сторону, осуществляются такие преобразования (см. гл. 8).

Результаты преобразований в пространстве переменных различны для простых и ортогональной регрессий.

В случае простой регрессии xj по x − j это преобразование не приводит к по- лучению новых оценок, если j -я строка матрицы C является ортом, т.е. в объ- ясняющие переменные правой части не «попадает» — после преобразования — объясняемая переменная.

212 Глава 6. Алгебра линейной регрессии



Действительно, пусть для определенности j = 1 и C = 



1 0

c −1 C −1



(первая



 

1 0

строка является ортом), C −1=  .

 

−1

Уравнение (6.33) записывается следующим образом:

.

X ˆ1 + X ˆ−1 c −1



.

C −1 c

− C −1 a





− −1 −1

−1 −1

←−−−−−−−−− f −−−−−−−−→

или, после переноса переменных в правую часть:

. ˆ ˆ.

1 −1

X 1 + X −1 c −1

ˆ. −

+ −1

a −1.

+ e 1.

←−−−−−ˆ−−−−−→

←−−ˆ −−→ ←−−−−−− f −−−−−−−→

Y 1 Y −1 −1

Система нормальных уравнений для оценки f −1 имеет следующий вид:

1. ˆ ˆ

. 1 ˆ ˆ

1 −1

C r X ˆ r

X 1 + X −1 c −1

= C r X r

X −1 C −1. C − c −1 + C

a −1.

N −1 −1

N −1 −1

−1 −1

←−−−−→ ←−−−−→ ←−−−−−−−−−−−−−→

ˆ ˆ

−1 −1

f −1

или, раскрыв скобки:

1 M −1 c −1= C r

1 M −1 c −1+ C r

1 M −1 a −1.

− − −

−

получается система нормальных уравнений для оценки a −1: m −1 = M −1 a −1.

Это означает, что f −1 после «возвращения» в исходное пространство совпадает с a −1, т.е. проведенное преобразование в пространстве переменных новых оценок регрессии не дает.

Верно и обратное утверждение: если j -я строка матрицы C не является ортом, то a и f совпадают с точностью до обратного преобразования только тогда, когда связь функциональна и e = 0.

6.4. Многообразие оценок регрессии 213



Пусть теперь C = 



−

0 In −1



(т.е. первая строка не является ортом),





C −1 = 



1 − c r



. Тогда уравнение (6.33) приобретает следующую форму:



. ˆ ˆ

 

ˆ. 1+ c r a

Y −1

−1 −1

− a −1

= e 1, (6.34)



←−−−−− f −−−−−→

и

a −1. = Y ˆ

a −1

+ e 1,

a − 1

1

.1 + c r a −1

. +.1+ c r a

. e 1.

Таким образом, условием совпадения a и f с точностью до обратного преобразо- вания является следующее:

a − 1

−

a −1.

. (6.35)

Система нормальных уравнений для оценки f −1 имеет вид:

= Y ˆ r Y ˆ f,

N −1

−1 −1

или, учтя зависимость Y от X из (6.34) и раскрыв скобки:

+ m 11 c −1 c r.

f −1.

M −1 m

−1.=

+ m c r + c

m r + m c

c r.

M −1 m.

−1 −1 −1

−1 −1

11 −1 −1

−1 −1

Раскрыв скобки и приведя подобные, можно получить следующее выражение:

c −1 m 11 = c −1 m r

− −1

214 Глава 6. Алгебра линейной регрессии

которое выполняется как равенство, только если

−1

т.е. если (в соответствии с (6.18))

Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.

Что и требовалось доказать.

Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются толь- ко шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, ес- ли C = S −1, где S — диагональная матрица среднеквадратических отклонений переменных.

Оценки параметров регрессии после преобразования оказываются измерен- ными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрес- сий.

−

ентов корреляции объясняющих переменных между собой, r − j — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой перемен-

ной.

Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:

s 1

X ˆ−1



−1  1



= e 1. (6.36)

Y 1

←−−−−−→

 

− S −1 a −1

Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s 1. Тогда и e делится на s 1 (т.е. на s 1 делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть

получается следующее уравнение регрессии:

Y ˆ = Y ˆ f

+ e, где f

= S a.

1 −1 −1

s 1 1

−1 −1

−1 s 1

Система нормальных уравнений для f −1 имеет следующий вид:

= Y ˆ r Y ˆ f,

N −1

−1 −1

6.4. Многообразие оценок регрессии 215

или, учитывая зависимость Y от X из (6.36),

S −1

1 = S −1

−1 f.

←−−− r −−−→

−1 M −1 S −1 −1

−1

Что и требовалось доказать.

Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C ƒ= In приводит к получению новых оценок параметров.

В пункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда

 

1 0

 

0 k

В общем случае верно утверждение, состоящее в том, что в результате пре- образования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:

(M − λΩ) a = 0, a tΩ a = 1, (6.37)

где Ω = C t−1 C −1.

Действительно:

После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):

(MY − λ In) f = 0, f r f = 1, (6.38)

где, учитывая (6.33), MY = C r M C, f = C −1 a.

Выражение (6.37) получается в результате элементарных преобразований (6.38).

Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C ƒ= In. Такую регрессию иногда называют регрессией в метрике Ω−1.

216 Глава 6. Алгебра линейной регрессии

Поиск по сайту: