[Math] Linear Regression의 normal equation을 위한 선형대수 개념
구설구설
$ trA = trA^T $tr는 행렬의 대각 합이다.한 행렬 A를 전치한다면, 행과 열이 바뀌게 되는데, 그렇지만 행렬의 대각 성분은 바뀌지 않는다.따라서 전치 행렬의 대각합도 원래 행렬 A와 동일하다.$A = \begin{pmatrix} 1 & 2 \\ 3 & 4\\ \end{pmatrix}$ 일 때,$A^T = \begin{pmatrix} 1 & 3 \\ 2 & 4\\ \end{pmatrix}$이므로 대각합은 모두 5이다. $ f(A) = {\rm tr}\ A ,\; \nabla_{A}f(A)=B^{T} $$A = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix}, \quad B = \begin{pmatrix} b_{11} & b..