АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Ортогональная регрессия

Читайте также:
  1. Линейная регрессия
  2. Линейная регрессия
  3. Множественная линейная регрессия
  4. Нелинейная регрессия
  5. Обобщенный метод наименьших квадратов (взвешенная регрессия)
  6. Ортогональная матрица
  7. Параметры линейного уравнения регрессия
  8. Парная линейная регрессия
  9. Перенос и регрессия
  10. Простая регрессия
  11. РЕГРЕССИЯ ВОЗРАСТА

 

В случае, когда ограничения на вектор a (или α) состоят в требовании равен- ства единице длины этого вектора

a t a = 1 (αtα = 1), (6.24)

и все переменные остаются в левой части уравнения, получается ортогональная регрессия, в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости. Разъяснения этому факту давались в пункте 4.2.


 

 

206 Глава 6. Алгебра линейной регрессии

 

Оценка параметров регрессии производится из условия минимизации остаточ- ной дисперсии:

 

s 2 (6. 7) 1

e = a t X ˆt X ˆ a = a t Ma min!, N

 


N
где M = 1 X ˆ t X ˆ


— ковариационная матрица переменных регрессии, при условии


(6.24).

Из требования равенства нулю производной по a соответствующей функции Лагранжа следует, что

 

(M − λ In) a = 0, (6.25)

где λ — множитель Лагранжа ограничения (6.24), причем

 

e
λ = s 2. (6.26)

 

 

Действительно, функция Лагранжа имеет вид:

L (a, λ) = a r Ma − λ a r a,

а вектор ее производных по a:

 

L = 2 (Ma λ a).

a

 

Откуда получается соотношение (6.25). А если обе части этого соотношения умно- жить слева на a rи учесть (6.24), то получается (6.26).

 

 

Таким образом, применение МНК сводится к поиску минимального собствен- ного числа λ ковариационной матрицы M и соответствующего ему собствен- ного (правого) вектора a (см. также Приложение A.1.2). Благодаря свойствам данной матрицы (вещественность, симметричность и положительная полуопреде- ленность), искомые величины существуют, они вещественны, а собственное чис- ло неотрицательно (предполагается, что оно единственно). Пусть эти оценки по- лучены.

В ортогональной регрессии все переменные x выступают объясняемыми, или моделируемыми, их расчетные значения определяются по формуле:

X ˆ c = X ˆ − ea t. (6.27)


 

 

6.3. Ортогональная регрессия 207


Действительно: X ˆ ca =


X ˆ ae a r a = 0, т.е. вектор-строки x ˆ c, соответствующие


i
←− e


←→1


наблюдениям, лежат на гиперплоскости регрессии и являются проекциями на нее


вектор-строк фактических наблюдений


x ˆ i (вектор a по построению ортогонален


i
гиперплоскости регрессии, а eia r— вектор нормали x ˆ c


на x ˆ i), а аналогом коэф-


λ 2 n 2

фициента детерминации выступает величина 1 − s 2, где s Σ=  sj — суммарная


Σ

дисперсия переменных x, равная следу матрицы M.


j =1


Таким образом, к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии, и общее количество этих оценок стано- вится равным n + 1.

Задачу простой и ортогональной регрессии можно записать в единой, обобщен- ной форме:

(M − λ W) a = 0, a t Wa = 1, λ → min!, (6.28)

где W — диагональная n × n -матрица, на диагонали которой могут стоять 0 или 1. В случае, если в матрице W имеется единственный ненулевой элемент

wjj = 1, то это — задача простой регрессии xj по xj (действительно, это следу- ет из соотношения (6.23)); если W является единичной матрицей, то это — задача

ортогональной регрессии. Очевидно, что возможны и все промежуточные случаи, когда некоторое количество n 1, 1 < n 1 < n, переменных остается в левой части уравнения, а остальные n 2 переменных переносятся в правую часть уравнения регрессии:

 

X ˆ 1 a 1 = X ˆ 2 a 2 + e 1,  a 1t a 1 = 1.

Если J — множество переменных, оставленных в левой части уравнения, то в записи (6.28) такой регрессии wjj = 1 для jJ и wjj = 0 для остальных j. Оценка параметров регрессии производится следующим образом:


a 2 = M −1 M 21 a 1, 


M M −1 M


− λ I


a 1 = 0


22 M 11


12 22 21 n 1


 

 
(a 1 находится как правый собственный вектор, соответствующий минимальному собственному числу матрицы M 11− M 12 M −1 M 21), где

1  ˆ 1tˆ 1

 ˆ
M 11= N X X,


 
M 12= M t =


1 X 1

N


t X ˆ 2,


1  ˆ 2tˆ 2

M 22= N X X


 

 

208 Глава 6. Алгебра линейной регрессии

 

— соответствующие ковариационные матрицы.

Таким образом, общее количество оценок регрессии — (2 n − 1). В рамках любой из этих оценок λ в (6.28) является остаточной дисперсией.

Задача ортогональной регрессии легко обобщается на случай нескольких урав- нений и альтернативного представления расчетных значений изучаемых перемен- ных.

Σ
Матрица M, как уже отмечалось, имеет n вещественных неотрицательных собственных чисел, сумма которых равна s 2, и n соответствующих им веществен- ных взаимноортогональных собственных векторов, дающих ортонормированный базис в пространстве наблюдений (см. также Приложение A.1.2). Пусть собствен- ные числа, упорядоченные по возрастанию, образуют диагональную матрицу Λ, а соответствующие им собственные вектора (столбцы) — матрицу A. Тогда

A t A = In, M A = A Λ. (6.29)

 

Собственные вектора, если их рассматривать по убыванию соответствующих им собственных чисел, есть главные компоненты облака наблюдений, которые по- казывают направления наибольшей «вытянутости» (наибольшей дисперсии) этого облака. Количественную оценку степени этой «вытянутости» (дисперсии) дают соответствующие им собственные числа.

Пусть первые k собственных чисел «малы».

s 2
E — сумма этих собственных чисел;

AE — часть матрицы A, соответствующая им (ее первые k стоблцов); это — коэффициенты по k уравнениям регрессии или k младших главных компонент;

AQ — остальная часть матрицы A, это — nk старших главных компонент или собственно главных компонент;

A = [ AE, AQ ];

xAE = 0 — гиперплоскость ортогональной регрессии размерности nk;


 

 

компонент;


AE Q. — координаты облака наблюдений в базисе главных


E — матрица размерности N × k остатков по уравнениям регрессии;

Q — матрица размерности N × (nk), столбцы которой есть значения так называемых главных факторов.


Поскольку A t= A −1, можно записать X ˆ


= EAE t+ QAQ t. Откуда


получается два возможных представления расчетных значений переменных:

 


= XE


t= QAQ t. (6.30)


X ˆ c (1) ˆ

(6. 27)


(2)

E
A


 

 

6.3. Ортогональная регрессия 209

Первое из них — по уравнениям ортогональной регрессии, второе (альтерна- тивное) — по главным факторам (факторная модель).

2 


s
1 − sE


2 — аналог коэффициента детерминации, дающий оценку качества

Σ


обеих этих моделей.

Факторная модель представляет n переменных через nk факто- ров и, тем самым, «сжимает» ин- формацию, содержащуюся в исход- ных переменных. В конкретном ис- следовании, если k мало, то предпо-

чтительнее использовать ортогональ- ные регрессии, если k велико (со- ответственно nk мало), целе- сообразно применить факторную мо- дель. При этом надо иметь в ви- ду следующее: главные факторы —

расчетные величины, и содержатель- ная интерпретация их является, как правило, достаточно сложной зада- чей.


 

x1

A r

B

E

D

G

F

 

 

x
0 C

 

 

 

Рис. 6.1


 

Сделанные утверждения можно проиллюстрировать на примере n = 2, предполагая, что λ1/ λ2, и упрощая обозначения (введенные выше матрицы являются в данном случае векторами):

a 1 = AE — вектор параметров ортогональной регрессии,

a 2 = AQ — вектор первой (в данном случае — единственной) главной компоненты,

e = E — остатки в уравнении ортогональной регрессии,

q = Q — значения первого (в данном случае — единственного) главного фактора.


На рисунке: OA — вектор-строка i -го наблюдения


x ˆ i = (x ˆ i 1, x ˆ i 2), OD


вектор-строка расчетных значений


x ˆ c, длина OCx ˆ i 1, длина OBx ˆ i 2,


i
OE — вектор-строка a r, Ott — вектор-строка a r, длина OFei, длина

1 2

ODqi.

Как видно из рисунка 6.1, квадрат длины вектора x ˆ i равен (из прямоугольных тре-


угольников OAC и OAD) x ˆ2 + x ˆ2


= e 2 + q 2, и если сложить все эти уравнения по


i 1 i 2 i i

i и разделить на N, то получится s 2 + s 2 = s 2 + s 2. Понятно, что s 2 = λ1, s 2 = λ2,

1 2 e q e q

 
и это равенство означает, что след матрицы ковариации равен сумме ее собственных чисел. Кроме того, как видно из рисунка, s 2 показывает дисперсию облака наблюде-

ний (суммарную дисперсию переменных регрессии) в направлении a 1 наименьшей

 
«вытянутости» облака, s 2 — дисперсию облака наблюдений в направлении a 2 его наибольшей «вытянутости».


 

 

210 Глава 6. Алгебра линейной регрессии

 

Вектор OF есть eia r, а вектор ODqia r, и рисунок наглядно иллюстрирует

1 2

выполнение соотношения (6.30):

x ˆ c = x ˆ ieia r= qia r.

i 1 2

Пусть теперь n = 3, и λ1, λ2, λ3, a 1, a 2, a 3 — собственные числа и вектора ковариационной матрицы переменных.

1) Если λ1≈ λ2≈ λ3, то облако наблюдений не «растянуто» ни в одном из направ- лений. Зависимости между переменными отсутствуют.

2) Если λ1/ λ2≈ λ3и k = 1, то облако наблюдений имеет форму «блина». Плоскость, в которой лежит этот «блин», является плоскостью ортогональной ре- грессии, которую описывает уравнение x ˆ a 1 = 0, а собственно уравнением регрессии

является X ˆ a 1 = e.

Эту же плоскость представляют вектора a 2 и a 3, являясь ее осями координат. В этих осях координат можно выразить любую точку данной плоскости, в том числе все точки расчетных значений переменных (6.30):


.

X ˆ c = q


 

a
.
r

q 2 = q a r+ q a r,


1 2  

a
r


1 2 2 3


где q 1=


X ˆ a 2, q 2 = X ˆ a 3 — вектора значений главных факторов или вектора


координат расчетных значений переменных в осях a 2, a 3.

3) Если λ1≈ λ2/ λ3и k = 2, то облако наблюдений имеет форму «веретена». Ось этого «веретена» является линией регрессии, образованной пересечением двух


плоскостей


x ˆ a 1 = 0 и


x ˆ a 2 = 0. И уравнений ортогональной регрессии в данном


случае два: X ˆ a 1 = e 1 и X ˆ a 2 = e 2.

Данную линию регрессии представляет вектор a 3, и через него можно выразить все расчетные значения переменных:

 
X ˆ c = qa r,

где q = X ˆ a 3 — вектор значений главного фактора.

 

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.018 сек.)