김영길/ 선형대수학/ orthogonal complement, LU decomposition, least square, correlation matrix

Def

  • inner product space V 의 nonempty subset S 에 대하여, S 의 orthogonal complement(직교 여공간)는 다음과 같이 정의한다.
    • S \bot = \{ x \in V | \langle x, y \rangle = 0, \forall y \in S \}
    • S \bot V 의 벡터 중에 S 의 모든 벡터들과 orthogonal한 것을 모아 놓은 집합
  • Ex 9)
    • V = R^{3}, S = \{ (0, 0, 1) \} 일 때
      • S \bot = xy plane 

Thm 6.7

  • W \subseteq V 일 때
    • dim(V) = dim(W) + dim(W \bot)
  • Ex 11)
    • V = R^{3} 에서
      • W = span(\{(1, 0, 0), (0, 1, 0)\}) = \{(a, b, 0) | a, b \in R\} 이면
      • dim(W) = 2
      • W \bot = \{ (0, 0, c) | c \in R \}
      • dim(W \bot) = 1
  • Ex 12)
    • (Null space of A )\bot = row space of A
      • A 의 널공간은 A 의 모든 row와 수직인 것을 모아 놓은 것이 된다. 
    • (Null space of A^{t} )\bot = column space of A
      • 이것을 Left Null Space라고도 한다.

LU decomposition

  • n \times n 정사각행렬 A 에 대하여
    • 만일 row exchange를 하지 않고 A \to U 를 만들 수 있으면 
    • A = LU
      • L 는 lower triangular matrix
      • U 는 upper triangular matrix
  • (예시 생략)

Least square solution (최소제곱해)

  • overdetermined problems의 least square solution
    • Ax = b 의 꼴에서 x 를 구할 수 없을 때
      • \left[ \begin{array}{rrrr} 1 & 2 \\ 3 & 4 \\ 2 & 0 \\ 4 & 2 \end{array} \right] \left[ \begin{array}{rr} x_{1} \\ x_{2} \end{array} \right] = \left[ \begin{array}{rrrr} 2 \\ 1 \\ 0 \\ 3 \end{array} \right]
      • 위와 같은 경우 해가 없다. (Inconsistent system)
    • 이럴 때는 b 에 최대한 가깝게 x 를 조정한다.
      • \hat{x} = \arg \min_{x} \| Ax - b \|^{2}
    • 이때 b 와 가장 가까워지는 \hat{x} 는 (error vector – b 와의 간격이 error값이 된다) A 의 모든 벡터와 수직인 값이 된다. (거꾸로 말하면 A 의 모든 벡터와 수직이 되는 값을 찾으면 된다.)
      • (b - A \hat{x}) \bot a_{j} (\forall j)

Orthogonality principle

  • 앞서 살펴본 경우의 A 와 수직인 벡터를 찾는 방법
  • a_{j}^{T} (b - A \hat{x}) = 0 (j = 1, 2, ... , n)
    • \left[ \begin{array}{rrrr} - & a_{1}^{T} & - \\ - & a_{2}^{T} & - \\ & ... & \\ - & a_{n}^{T} & - \end{array} \right] \left[ \begin{array}{rrr} | \\ b - A \hat{x} \\ | \end{array} \right] = \left[ \begin{array}{rrrr} 0 \\ 0 \\ ... \\ 0 \end{array} \right]
    • A^{T}(b - A \hat{x}) = 0
    • A^{T} A \hat{x} = A^{T} b
  • A 가 full rank일 때
    • \hat{x} = (A^{T}A)^{-1}A^{T}b
    • A 의 Moore Penrose pseudo-inverse는 (A^{T}A)^{-1}A^{T} 가 된다.
  • A 의 column space로 향하는 B 의 Projection
    • p = A \hat{x} = A(A^{T}A)^{-1}A^{T}b = Pb
  • Projection matrix
    • P = A(A^{T}A)^{-1}A^{T}
    • P^{2} = P
      • P 는 Projection 되었기 때문에 제곱해도 변하지 않는다. 

Ex. Measurements

  • 다음과 같이 점이 주어졌을 때
    • (x_{1}, y_{1}) = (-1, 1)
    • (x_{2}, y_{2}) = (1, 1)
    • (x_{3}, y_{3}) = (2, 3)
  • y = C + Dx 가 되는 line을 찾으려고 한다. (error를 최소화하는 직선을 찾는 문제. 제곱은 결국 거리기 때문에 거리를 최소화한다는 의미에서 최소제곱을 찾는 문제이다)
    • \left[ \begin{array}{rrr} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{array} \right] \left[ \begin{array}{rr} C \\ D \end{array} \right] = \left[ \begin{array}{rrr} 1 \\ 1 \\ 3 \end{array} \right]
    • A^{T}A = \left[ \begin{array}{rrr} 1 & 1 & 1 \\ -1 & 1 & 2 \end{array} \right] \left[ \begin{array}{rrr} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{array} \right] = \left[ \begin{array}{rr} 3 & 2 \\ 2 & 6 \end{array} \right]
    • A^{T}b = \left[ \begin{array}{rrr} 1 & 1 & 1 \\ -1 & 1 & 2 \end{array} \right] \left[ \begin{array}{rrr} 1 \\ 1 \\ 3 \end{array} \right] = \left[ \begin{array}{rr} 5 \\ 6 \end{array} \right]
    • A^{T} A \hat{x} = A^{T} b
    • \left[ \begin{array}{rr} 3 & 2 \\ 2 & 6 \end{array} \right] \left[ \begin{array}{rr} C \\ D \end{array} \right] = \left[ \begin{array}{rr} 5 \\ 6 \end{array} \right]
    • C = {9 \over 7}, D = {4 \over 7}
    • \therefore y = {9 \over 7} + {4 \over 7}x

Unitary matrix

  • Unitary matrix란 Rows도 orthonormal이고 Columns도 orthonormal한 matrix를 말한다.
    • AA^{\dagger} = A^{\dagger}A = I
    • det(A) = 1

Matrix in random processes

  • Random vectors의 Second-Moment Descriptions
    • Random vector z = \left[ \begin{array}{rrrr} z(u, 1) \\ z(u, 2) \\ ... \\ z(u, n) \end{array} \right]
  • Mean vector M_{z}
    • M_{z} = \left[ \begin{array}{rrrr} m_{z}(1) \\ m_{z}(2) \\ ... \\ m_{z}(n) \end{array} \right] = \left[ \begin{array}{rrrr} E\{z(u, 1)\} \\ E\{z(u, 2)\} \\ ... \\ E\{z(u, n)\} \end{array} \right] = E\{z(u)\}
  • Correlation matrix R_{z}
    • R_{z} = \left[ \begin{array}{rrrr} R_{z}(1, 1) & R_{z}(1, 2) & ... & R_{z}(1, n) \\ R_{z}(2, 1) & R_{z}(2, 2) & ... & R_{z}(2, n) \\ ... \\ R_{z}(n, 1) & R_{z}(n, 2) & ... & R_{z}(n, n) \end{array} \right]
    • = \left[ \begin{array}{rrrr} E\{z(u,1) z^{*}(u, 1)\} & E\{z(u,1) z^{*}(u, 2)\} & ... & E\{z(u,1) z^{*}(u, n)\} \\ E\{z(u,2) z^{*}(u, 1)\} & E\{z(u,2) z^{*}(u, 2)\} & ... & E\{z(u,2) z^{*}(u, n)\} \\ ... \\ E\{z(u,n) z^{*}(u, 1)\} & E\{z(u,n) z^{*}(u, 2)\} & ... & E\{z(u,n) z^{*}(u, n)\} \end{array} \right]
    • = E \{ \left[ \begin{array}{rrrr} z(u, 1) \\ z(u, 2) \\ ... \\ z(u, n) \end{array} \right] \left[ \begin{array}{rrrr} z^{*}(u, 1) & z^{*}(u, 2) & ... & z^{*}(u, n) \end{array} \right] \}
    • = E\{z(u)z^{\dagger}(u)\}

댓글 남기기

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.