АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Простая регрессия

Читайте также:
  1. А. Простая, единичная, или случайная, форма стоимости
  2. Гармоническая простая
  3. Линейная регрессия
  4. Линейная регрессия
  5. Множественная линейная регрессия
  6. Нелинейная регрессия
  7. Непростая, но типичная история
  8. Обобщенный метод наименьших квадратов (взвешенная регрессия)
  9. Ортогональная регрессия
  10. Параметры линейного уравнения регрессия
  11. Парная линейная регрессия
  12. Перенос и регрессия

 

В случае, когда ограничения на вектор a (α) имеют вид aj = 1 (α j = 1), возникают простые регрессии. В таких регрессиях в левой части уравнения оста- ется одна переменная (в данном случае j -я), а остальные переменные переносятся в правую часть, и уравнение в исходной форме приобретает вид (регрессия j -й переменной по остальным, j -я регрессия):

Xj = Xjaj + 1 Nbj + ej, (6.8) где Xj — вектор-столбец наблюдений за j -й переменной — объясняемой,

Xj — матрица наблюдений размерности N × (n − 1) за остальными перемен- ными — объясняющими (композиция Xj и Xj образует матрицу X), aj — вектор a без j -го элемента (равного 1), взятый с обратным знаком (компози- ция 1 и − aj образует вектор a), bj и ej — соответственно свободный член и вектор-столбец остатков в j -й регрессии. В сокращенной форме:

 

X ˆ j = X ˆ− jaj + ej. (6.9)

В таких регрессиях ошибки eij — расстояния от гиперплоскости регрессии до точек облака наблюдения — измеряются параллельно оси xj.

Остаточная дисперсия приобретает следующую форму:

 


s 2 1 1 ˆ


ˆ  ˆ ˆ 


ej = Ne t ej = N


X t− a t X t


XjXj aj


. (6.10)


j jjj


 

 

202 Глава 6. Алгебра линейной регрессии

 

Из равенства нулю ее производных по параметрам aj определяется, что

j jj
a = M −1 m, (6.11)


где Mj =


ˆ t

 
N X
j


j — матрица ковариации объясняющих переменных xj


X ˆ
j N
между собой, m = 1 X ˆ t


X ˆ j


— вектор-столбец ковариации объясняющих пе-


j

ременных с объясняемой переменной xj; и

cov(Xj, ej) = N X ˆ
1

t

j


 

ej = 0. (6.12)


 


Действительно,

 

s 2 2


 

 

 ˆ ˆ


 

 
 −2(mjMj aj),


ej

aj


= X ˆ r

Nj


XjXj


aj


=

X ˆ r


− N


jej.


 

Кроме того, очевидно, что матрица вторых производных равна 2 Mj, и она, как всякая ковариационная матрица, положительно полуопределена. Следовательно, в найденной точке достигается минимум остаточной дисперсии.

Справедливость утверждения о том, что любая матрица ковариации (теоретическая или ее оценка) положительно полуопределена, а если переменные линейно незави- симы, то — положительно определена, можно доказать в общем случае.

Пусть x — случайный вектор-столбец с нулевым математическим ожиданием. Его

теоретическая матрица ковариации по определению равна E (xx r). Пусть ξ ƒ= 0 — детерминированный вектор-столбец. Квадратичная форма

(
ξr E (xx r)ξ = E (ξr xx rξ) = E ξr x)2“ 0,

т.е. матрица положительно полуопределена. Если не существует такого ξ ƒ= 0, что

ξr x = 0, т.е. переменные вектора x линейно не зависят друг от друга, то неравенство

выполняется строго, и соответствующая матрица положительно определена.

Пусть X — матрица N наблюдений за переменными x. Оценкой матрицы ко-


вариации этих переменных является


1 X ˆ r X ˆ. Квадратичная форма

N


1 ξr X ˆ r X ˆ ξ =

N


= u r u “ 0, где u = X ˆ ξ, т.е. матрица положительно полуопределена. Если не

N

существует такого ξ ƒ= 0, что X ˆ ξ = 0, т.е. переменные x линейно не зависят друг от друга, то неравенство выполняется строго, и соответствующая матрица положи- тельно определена.

 

Оператор МНК-оценивания образуется соотношениями (6.11) и (6.5), которые в данном случае записываются следующим образом:

bj = x ¯ jx ¯− j aj (6.13)


 

 

6.2. Простая регрессия 203

(соотношения МНК-оценивания (4.37), данные в пункте 4.2 без доказательства, являются частным случаем этого оператора).

Уравнения

 

mj = Mjaj, (6.14)

решение которых дает первую часть оператора МНК-оценивания (6.11), называ- ется системой нормальных уравнений.

МНК-оценки остатков имеют нулевую среднюю (6.6) и не коррелированы (ор- тогональны) с объясняющими переменными уравнения (6.12).

Систему нормальных уравнений можно вывести, используя иную логику. Если


X
j
обе части уравнения регрессии (6.9) умножить слева на ˆ t


и разделить на N,


j
то получится условие mj = Mjaj + NX ˆ t


ej, из которого получается искомая


система при требованиях


e ¯ j = 0 и cov (Xj, ej) = 0, следующих из полученных


свойств МНК-оценок остатков.

Z ˆt X ˆ
 
 
Такая же логика используется в методе инструментальных переменных. Пусть имеется матрица Z размерности N × (n − 1) наблюдений за некоторыми величи- нами z, называемыми инструментальными переменными, относительно которых известно, что они линейно не зависят от ε j и коррелированы с переменными Xj. Умножение обеих частей уравнения регрессии слева на Z ˆtи деление их на N да-


ет условие


Z ˆt X ˆ j =

N


Nj aj +


Z ˆt ej, из которого — после отбрасывания

N


второго члена правой части в силу сделанных предположений — следует система

нормальных уравнений метода инструментальных переменных:

 


mz
z
z
j = M a


, (6.15)


 

j
где mz


 

j
= cov (z, xj), M z


jj

= cov (z, xj).


Значения j -й (объясняемой) переменной, лежащие на гиперплоскости регрес- сии, называются расчетными (по модели регрессии):

 

Xc
j = Xjaj + 1 Nbj, (6.16)

X ˆ c ˆ
j = Xjaj. (6.17)

 

Их дисперсия называется объясненной (дисперсия, объясненная регрессией) и может быть представлена в различных вариантах:

 


s 2 1 c ˆ c (6. 17)


(6. 11) 1


qj = N X ˆ t X


= a t


Mj aj


= a t


mj = m t


aj = m t


Mmj.


j jj


jj


jj


 

(6.18)


 

 

204 Глава 6. Алгебра линейной регрессии

 

Если раскрыть скобки в выражении остаточной дисперсии (6.10) и прове-


s 2
сти преобразования в соответствии с (6.11, 6.18), то получается s 2


= s 2 − s 2,


где


j — дисперсия j -й (объясняемой) переменной, или


ej j qj


s 2 2 2

j = sqj + sej. (6.19)

Это — дисперсионное тождество, показывающее разложение общей диспер- сии объясняемой переменной на две части — объясненную (регрессией) и оста- точную.

Доля объясненной дисперсии в общей называется коэффициентом детерми- нации:


s
2

R 2
s
=
j 2
qj = 1 −

j


s 2

ej
s
2, (6.20)

j


который является показателем точности аппроксимации исходных значений объ- ясняемой переменной гиперплоскостью регрессии (объясняющими переменными). Он является квадратом коэффициента множественной корреляции между объ- ясняемой и объясняющими переменными rj,j, который, по определению, равен

коэффициенту парной корреляции между исходными и расчетными значениями

объясняемой переменной:

 


covxj, xc


X ˆ t X ˆ c


X ˆ t X ˆ a


j


1 jj (6. 17) 1 j j j


rj,j =


sj sqj


= =

N sjsqj N


=

sj sqj

s
m t 2


=
.
= − jaj (6. 18)

sj sqj


qj

sj sqj


(6. 20)

j
=


R 2.


 

Из (6.19) следует, что коэффициент корреляции по абсолютной величине не пре- вышает единицы.

Эти утверждения, начиная с (6.16), обобщают положения, представленные в конце пункта 4.2.

Композиция 1 и − aj обозначается a (j) и является одной из оценок вектора α. Всего таких оценок имеется n — по числу простых регрессий, в левой части уравнения которых по очереди остаются переменные xj, j = 1 ,..., n. Эти вектор- столбцы образуют матрицу A. По построению ее диагональные элементы равны единице (ajj = 1 вслед за aj (j) = 1).

Все эти оценки в общем случае различны, т.е. одну из другой нельзя получить алгебраическим преобразованием соответствующих уравнений регрессии:


1


. t. t


a
a (j) ƒ=

j


(j t) a j


, j ƒ= j. (6.21)


 

 

6.3. Ортогональная регрессия 205

Это утверждение доказывалось в пункте 4.2 при n = 2. В данном случае спра- ведливо утверждение, что соотношение (6.21) может (при некоторых j, j t) вы- полняться как равенство в том и только том случае, если среди переменных xj, j = 1 ,..., n существуют линейно зависимые.

Достаточность этого утверждения очевидна. Действительно, пусть переменные неко- торого подмножества J линейно зависимы, т.е. существует такой вектор ξ, в кото-


ром ξ j ƒ= 0 при jJ и ξ j = 0 при j/ J, и


X ˆ ξ = 0. Тогда для любого jJ


ξ j
справедливо: a (j) = 1 ξ, причем aj r(j) = 0 при j r∈ / J, и ej = 0, т.е. некоторые

соотношения (6.21) выполняются как равенства.

Для доказательства необходимости утверждения предполагается, что существует такой ξ ƒ= 0, что

A ξ = 0 (6.22)

(т.е., в частности, некоторые соотношения из (6.21) выполняются как равенства).

N
Сначала следует обратить внимание на то, что вслед за (6.14) все компоненты век- тора M a (j) (M — матрица ковариации всех переменных x: M = 1 X ˆ r X ˆ), кроме

ej
j -й, равны нулю, а j -я компонента этого вектора в силу (6.18, 6.19) равна s 2, т.е.

e
MA = S 2, (6.23)

где S 2— диагональная матрица. s 2..

e ej

e
Теперь, после умножения обеих частей полученного матричного соотношения справа на вектор ξ, определенный в (6.22), получается соотношение: 0 = S 2ξ, которое


ej
означает, что для всех j, таких, что ξ j ƒ= 0, s 2


= 0, т.е. переменные xj линейно


зависят друг от друга.

Что и требовалось доказать.

 

Все возможные геометрические иллюстрации простых регрессий в простран- стве наблюдений и переменных даны в пункте 4.2.

 

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.022 сек.)