Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Mostre que Beta pode ser expressado por Beta = *1/R.Q'Y*? Como beta pode ser solucionado por back-substitution?

+1 voto
23 visitas
perguntada Mai 17 em Estatística por Edson Toledo Neto (16 pontos)  

Se X é uma matrix nxp e tem p colunas linearmente independentes, então X pode ser fatorada na forma X = QR, onde Q é uma matriz nxp com colunas ortogonais (Q’Q=I) e R é uma matrix upper-triangular e não singular. Mostre que o regressor estimado Beta definido por 1/(X'X).X'Y pode ser expressado por Beta = 1/R.Q'Y. Indique como o estimador beta pode ser solucionado por substituição reversa (back-substitution), mostrando que é desnecessário inverter R. (Exercicio 8 - Chapter 14 - Rice (2006) Mathematical Statistics and Data Analysis).

Compartilhe

1 Resposta

0 votos
respondida Mai 18 por Edson Toledo Neto (16 pontos)  
editado Mai 21 por Edson Toledo Neto

Teorema: Se X é uma matrix nxp e tem p colunas linearmente independentes, então X pode ser decomposta na forma X = QR, onde Q é uma matriz nxp, cujas colunas formam uma base ortonormal para o espaço coluna W = Col X e R é uma matrix pxp upper-triangular e não singular.

A) O estimador de mínimos quadrados \(b_{}\) pode ser redefinido como:

\[\hat{b}=\frac{1}{\left(X^tX\right)}X^tY\]

\[\hat{b}\left(X^tX\right)=\left(QR\right)^t\left(QR\right)b_{}=R^tX^tQRb_{}= R^tRb_{}\]

\[=X^tY = R^tQ^tY\]

Assim,

\[R^tR\hat{b}=R^tQ^tQ^tY \Leftrightarrow \frac{1}{R^t}R^tQ^tY\Leftrightarrow R\hat{b}=Q^tY\]

Onde, no último passo usa-se o fato que:
\[\frac{1}{Q}=Q^t\]

B) Suponha uma matriz X e rank (A) = n. Ao aplicar o processo de Gram-Schmidt, as colunas da matriz X formam uma base ortonormal para uma matriz W, que é igual ao espaço coluna X, onde:
\[(X=x_{1},x_{2},...,x_{3},x_{n})\]
\[\left\{ u_{1},u_{2},...,u_{3},u_{n}\right\}\]
\[Q = \left[ u_1 u_2 u_3 .... u_n \right], k=1,....,n x_k\]
\[Span\left\{ x_1,x_2,...,x_3,x_k\right\}=Span\left\{ u_1,u_2,...,u_3,u_k\right\}\]

Então, é possível obter as constantes r:
\[r_{1k},r_{2k},...,r_{3k},r_{kk}\]
\[x_{k}=r_{1k}.u_{1}+...+r_{kk}.u_{k}+0.u_{k+1}+...+0.u_{n}\]

Isto mostra que é uma combinação linear das colunas de Q utilizando como pesos as entradas do vetor coluna:

\[r_{kk}=\left[\begin{array}{cc} r_{1k} \\ .\\ .\\ .\\ r_{kk}\\ 0\\ .\\ .\\ .\\ 0\\ \end{array}\right]\]
Assim,

\[x_k=Qr_k\] para \[k=1,....,n\]

Sendo que:

\[Q=\left[u_1 u_2 u_3 .... u_n\right]\]

Então, \[X = \left[x_1 x_2 x_3 .... x_n\right]=\left[ Qr_1 Qr_2 Qr_3 .... Qr_n\right]=QR\]
Onde R é uma matriz upper-triangular e não singular.

comentou Mai 19 por João Pedro Mussi (31 pontos)  
Olá Edson, parabéns pela resposta.  
Adiciono que para melhor compreensão seria interessante utilizar o formato da inversa da matriz como \(X^{-1} \) , da transposta como \(X^t \) e do termo da matriz como \(r_{kk} \) ou \(r_{ij}\).  Você pode fazer isso usando \ (X^{-1} \) ; \ (X^t \) e \ (r_{kk} \) [retirando os espaços entre \ ( ] . Acho que isso pode melhorar a compreensão da resposta.
Adiciono ainda que no item B, que a resposta é relacionada com \( R\beta = Q^TY\)  ao invés de utilizar X =QR. Você irá encontrar que o \(r_{kk} \) (o último termo da matriz R) é o único termo da última linha (como R é matriz triangular superior) que se multiplicado pelo vetor de \( \beta\) é encontrado que \( r_{kk} \beta_{k-1} \) = (última linha de Q)*\(Y\). E irá fazer isso para todas as linhas de R e substituindo o valor achado na linha anterior substituindo \(\beta\) achando anteriormente.
A partir daí encontra o método back-substitution.
comentou Mai 20 por danielcajueiro (5,486 pontos)  
Na questão da transposta ja mencionada no comentario anterior, se vc quiser manter o formato que está use ^\prime e realmente usar-se inversa forma que foi usada.
comentou Mai 21 por Edson Toledo Neto (16 pontos)  
Olá João, obrigado pela resposta e sugestões, muito pertinentes.
...