김영길/ 선형대수학/ Directional preference of covariance matrix for random process

Simulation Solutions

  • H H^{\dagger} = K = E \Lambda E^{\dagger}
    • \Rightarrow I = H^{-1} E \Lambda E^{\dagger} H^{-1 \dagger}
    • U^{\dagger} \triangleq H^{-1}E \Lambda^{1 \over 2} 는 unitary
    • \Rightarrow H = E \Lambda^{1 \over 2} U
  • Simulation Solutions
    • z_{0}(u) = E \Lambda^{1 \over 2} U w(u)
  • orthogonal matrix U 는 항상 diagonal 위에는 모두 0 이 나오는 E \Lambda^{1 over 2}U 를 선택할 수 있다.
    • E \Lambda^{1 \over 2}U 는 causal operator가 된다.

Example 4.1

  • Eigenvector들을 이용한 Covariance matrix의  Causal Factorization
  • random vector y(u) 에 대하여
    • Covariance matrix K_{y} = \left[ \begin{array}{rrr} 1 & -{1 \over 2} & -{1 \over 2} \\ -{1 \over 2} & 1 & -{1 \over 2} \\ -{1 \over 2} & - {1 \over 2} & 1 \end{array} \right]
    • HH^{\dagger} = K_{y} 가 되는 matrix H 를 찾으면
    • y(u) y(u) = Hw(u) 를 통해 simulate 될 수 있다.
  • H 를 구하는 방법
    • (K_{y} - \lambda I)e = 0
    • det(K_{y} - \lambda I) = 0
    • det \left[ \begin{array}{rrr} 1 - \lambda & -{1 \over 2} & -{1 \over 2} \\ -{1 \over 2} & 1 - \lambda & -{1 \over 2} \\ -{1 \over 2} & - {1 \over 2} & 1 - \lambda \end{array} \right] = -{\lambda \over 4} (2 \lambda - 3)^{2} = 0
    • K_{y}e_{1} = 0 \Rightarrow e_{1}^{t} = {1 \over \sqrt{3}}(1, 1, 1)
    • (K_{y} - {3 \over 2} I)e_{2} = 0 \Rightarrow e_{2}^{t} = {1 \over \sqrt{2}}(1, -1, 0)
    • (K_{y} - {3 \over 2} I)e_{3} = 0 \Rightarrow e_{3}^{t} = \sqrt{{2 \over 3}}({1 \over 2}, {1 \over 2}, -1)
    • E \Lambda^{1 \over 2} = \left[ \begin{array}{rrr} 0 & {\sqrt{3} \over 2} & {1 \over 2} \\ 0 & -{\sqrt{3} \over 2} & {1 \over 2} \\ 0 & 0 & -1 \end{array} \right]
    • y(u) = \left[ \begin{array}{rrr} {\sqrt{3} \over 2} & {1 \over 2} \\ -{\sqrt{3} \over 2} & {1 \over 2} \\ 0 & -1 \end{array} \right] w(u)
    • By choosing U = \left[ \begin{array}{rrr} 0 & 0 & 1 \\ {\sqrt{3} \over 2} & -{1 \over 2} & 0 \\ {1 \over 2} & {\sqrt{3} \over 2} & 0 \end{array} \right]
    • E \Lambda^{1 \over 2} U = \left[ \begin{array}{rrr} 1 & 0 & 0 \\ -{1 \over 2} & {\sqrt{3} \over 2} & 0 \\ -{1 \over 2} & -{\sqrt{3} \over 2} & 0 \end{array} \right]
    • z(u) = \left[ \begin{array}{rrr} 1 & 0 \\ -{1 \over 2} & {\sqrt{3} \over 2} \\ -{1 \over 2} & -{\sqrt{3} \over 2} \end{array} \right] w(u)

Brute Force Factorization

  • K = HH^{\dagger}
    • \left[ \begin{array}{rrr} 1 & -{1 \over 2} & -{1 \over 2} \\ -{1 \over 2} & 1 & -{1 \over 2} \\ -{1 \over 2} & - {1 \over 2} & 1 \end{array} \right] = \left[ \begin{array}{rrr} h_{11} & 0 & 0 \\ h_{21} & h_{22} & 0 \\ h_{31} & h_{32} & h_{33} \end{array} \right] \left[ \begin{array}{rrr} h_{11}^{*} & h_{21}^{*} & h_{31}^{*} \\ 0 & h_{22}^{*} & h_{32}^{*} \\ 0 & 0 & h_{33}^{*} \end{array} \right]
    • 1 = |h_{11}|^{2} \Leftarrow h_{11} = i
    • -{1 \over 2} = h_{21} h_{11}^{*} = -h_{21}i \Leftrightarrow h_{21} = - {i \over 2}
    • -{1 \over 2} = h_{31} h_{11}^{*} = -h_{31}i \Leftrightarrow h_{31} = - {i \over 2}
    • 1 = |h_{21}|^{2} + |h_{22}|^{2} = {1 \over 4} + |h_{22}|^{2} \Leftarrow h_{22} = - {\sqrt{3} \over 2}
    • H = \left[ \begin{array}{rrr} i & 0 \\ -{i \over 2} & -{\sqrt{3} \over 2} \\ -{i \over 2} & {\sqrt{3} \over 2} \end{array} \right]
  • K = E \Lambda E^{\dagger}
    • = \left[ \begin{array}{rrrr} \lambda_{1} e_{1} & \lambda_{2} e_{2} & ... & \lambda_{n} e_{n} \end{array} \right] \left[ \begin{array}{rrrr} e_{1}^{\dagger} \\ e_{2}^{\dagger} \\ ... \\ e_{n}^{\dagger} \end{array} \right]  = \sum_{i=1}^{n} \lambda_{i} e_{i} e_{i}^{\dagger}
    • K 의 eigenvalue들은 K 의 spectrum이라 부른다.
  • x = \sum_{j = 1}^{n} a_{j} e_{j}
    • y = Kx = (\sum_{i = 1}^{n} \lambda_{i} e_{i} e_{i}^{\dagger})(\sum_{j = 1}^{n} a_{j} e_{j})
    • e_{i} 의 orthonormaliity를 이용해서
    • y = \sum_{i = 1}^{n} \lambda_{i} a_{i} e_{i}

Random Vectors의 Eigen-Representation

  • simulation problem
    • z(u) = E \Lambda^{1 \over 2} w(u) + m_{z}
    • z(u) = m_{z} + \sum_{j=1}^{n} x_{j}(u) e_{j} = m_{z} + \sum_{j = 1}^{n} \sqrt{\lambda_{j}} w_{j}(u) e_{j}
  • uncorrelated coefficients와 함께 알려진 벡터들의 random 선형 결합 z(u) 의 representation를 Karhuenen-Loeve expansion의 finite-dimensional analog라고 한다.

Average Length Measures for Random Vectors

  • \mathbb{E} \{|z(u)|^{2}\} = \mathbb{E} \{ z^{\dagger}(u) z(u) \} = \sum_{t=1}^{n} R_{z}(t, t) = TR(R_{z})
  • \mathbb{E} \{ |z(u)|^{2} \} = \sum_{i = 1}^{n} \lambda_{i}

Directional Preference

  • 길이가 |b| = 1 인 벡터에 대하여
    • (z_{0}(u), b) b \triangleq b^{\dagger} z_{0}(u) b 의 mean-squared length는 다음과 같다.
    • \mathbb{E} \{ |(z_{0}(u), b) b|^{2} \} = \mathbb{E} \{ |(b^{\dagger} z_{0}(u))|^{2} \} |b|^{2}
      • = \mathbb{E} \{ b^{\dagger} z_{0}(u) z_{0}^{\dagger}(u) b \} = b^{\dagger} K_{z}b
    • z(u) 가 mean-zero real random vector라고 가정하면
      • K_{z} = \left[ \begin{array}{rr} 4 & 2 \\ 2 & 7 \end{array} \right] 
      • \lambda_{1} = 3, e_{1} = {1 \over \sqrt{5}} \left[ \begin{array}{rr} 2 \\ -1 \end{array} \right]
      • \lambda_{2} = 8, e_{2} = {1 \over \sqrt{5}} \left[ \begin{array}{rr} 1 \\ 2 \end{array} \right]
    • z(u) 의 rms length 는
      • \sqrt{\mathbb{E} \{ |z(u)|^{2} \}} = \sqrt{11} \approx 3.32
    • z(u) 의 directional preference 계산은 b K_{z} 의 eigen-vector들을 선택해서 한다.
    • b = e_{1}, \beta_{1} = 1, \beta_{2} = 0
      • \sqrt{\mathbb{E} \{ [e_{1}^{t} z(u)]^{2} \}} = \sqrt{e_{1}^{t} K_{z} e_{1}} = \sqrt{\lambda_{1}} \approx 1.73
    • b = e_{2}, \beta_{1} = 0, \beta_{2} = 1
      • \sqrt{\mathbb{E} \{ [e_{2}^{t} z(u)]^{2} \}} = \sqrt{e_{2}^{t} K_{z} e_{2}} = \sqrt{\lambda_{2}} \approx 2.83
    • b 의 rms projection의 maximum과 minimum이 eigen-vector의 방향을 가리킨다.
    • b K_{z} 의 eigen-vector들로 쓰면 다음과 같다.
      • b = \sum_{i = 1}^{n} \beta_{i} e_{i}
      • \beta_{i} = e_{i}^{\dagger} b
    • b 는 unit vector
    • E 의 eigenvector column들은 orthonormal set
      • 1 = |b|^{2} = |\sum_{i=1}^{n} \beta_{i} e_{i}|^{2} = \sum_{i=1}^{n} \sum_{j = 1}^{n} \beta_{i}^{*} \beta_{j} e_{i}^{\dagger} e_{j} = \sum_{i=1}^{n} |\beta_{i}|^{2}
    • \mathbb{E} \{ |(z_{0}(u), b) b|^{2} \} = b^{\dagger} K_{z} b = \sum_{i=0}^{n} \sum_{j=0}^{n} \beta_{i}^{*} \beta_{j} e_{i}^{\dagger} K_{z} e_{j}
      • = \sum_{i=1}^{n} |\beta_{i}|^{2} \lambda_{i}
    • |\beta_{i}|^{2} 에 대해
      • \min_{i} \lambda_{i} \leq \sum_{i=1}^{n} |\beta_{i}|^{2} \lambda_{i} \leq \max_{i} \lambda_{i}
    • 이런 이유로 projection variance는 K_{z} 의 eigenvalue의 largest와 smallest 사이에 존재한다.

댓글 남기기

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.