김영길/ 선형대수학/ factorization of covariance matrix for random process

Covariance matrix

  • 어떤 랜덤 vector의 covariance matrix K_{z} 는 다음과 같다.
    • K_{z} = E\{[z(u) - m_{z}] [z(u) - m_{z}]^{\dagger}\}
      • m_{z} 는 평균벡터
      • \dagger 는 conjugate transpose로 켤레전치행렬이 된다. (복소수의 부호를 바꾸고 전치시킨 행렬)
    • = E\{z(u)z^{\dagger}(u) - m_{z}z^{\dagger}(u) - z(u)m_{z}^{\dagger} + m_{z}m_{z}^{\dagger} \}
    • = E\{z(u)z^{\dagger}(u)\} - m_{z}E\{z^{\dagger}(u)\} - E\{z(u)\}m_{z}^{\dagger} + m_{z}m_{z}^{\dagger}
    • = R_{z} - m_{z} m_{z}^{\dagger}

Pseudo-correlation, Pseudo-covariance matrix

  • Pseudo-correlation
    • \tilde{T}_{z} = E \{z(u)z^{t}(u)\}
  • Pseudo-covariance
    • \tilde{K}_{z} = E \{ [z(u) - m_{z}][z(u) - m_{z}]^{t} \}
  • 임의의 벡터 a \in C^{n} 에 대하여
    • a^{\dagger}K_{z}a \geq 0
    • 이러한 성질에 때문에 Covariance matrix K_{z} 는 non-negative definite라고 한다. 이는 correlation matrix R_{z} 도 마찬가지다.
      • (non-negative definite은 positive semi definite(양의 준정부호)이라고도 한다)

Theorem

  • Correlation function은 non-negative definite이다.
  • 증명)
    • w(u) \triangleq \sum_{j=1}^{n} a_{j} z(u, t_{j})
    • \mathbb{E}\{|w(u)|^{2}\} = \mathbb{E} \{ | \sum_{j=1}^{n} a_{j} z(u, t_{j}) |^{2} \}
    • = \sum_{j=1}^{n} \sum_{k=1}^{n} a_{j} \mathbb{E}\{ z(u, t_{j}) z^{*} (u, t_{k})\} a_{k}^{*}
    • = \sum_{j=1}^{n} \sum_{k=1}^{n} a_{j} R_{z}(t_{j}, t_{k}) a_{k}^{*} \geq 0

Linear transformation or random vectors

  • y(u) = \left[ \begin{array}{rrrr} y(u, 1) \\ y(u, 2) \\ ... \\ y(u, n) \end{array} \right]
    • y(u) 는 랜덤 벡터
  • = \left[ \begin{array}{rrrr} h_{11} & h_{12} & ... & h_{1n} \\ h_{21} & h_{22} & ... & h_{2n} \\ ... \\ h_{m1} & h_{m2} & ... & h_{mn} \end{array} \right] \left[ \begin{array}{rrrr} z(u, 1) \\ z(u, 2) \\ ... \\ z(u, n) \end{array} \right] =Hz(u)
    • z(u) 는 랜덤 벡터
    • H 는 선형변환 (행렬)
  • E \{ y(u, t) \} = E \{ \sum_{\tau = 1}^{n} h_{t \tau} z(u, \tau) \}
    • = \sum_{\tau =1}^{n} h_{t \tau} E\{z(u, \tau) \} = \sum_{\tau =1}^{n} h_{t \tau} m_{z}(\tau)
  • E\{y(u, t_{1}) y^{*}(u, t_{2})\}
    • = E \{ [ \sum_{\tau_{1} = 1}^{n} h_{t_{1} \tau_{1}} z(u, \tau_{1}) ] [ \sum_{\tau_{2} = 1}^{n} h_{t_{2} \tau_{2}}^{*} z^{*}(u, \tau_{2}) ] \}
    • = \sum_{\tau_{1} = 1}^{n} \sum_{\tau_{2} = 1}^{n} h_{t_{1} \tau_{1}} h_{t_{2} \tau_{2}}^{*} E[ z(u, \tau_{1}) z^{*}(u, \tau_{2}) ]
  • E\{ y(u, t_{1}) y^{*}(u, t_{2}) \}
    • = \sum_{\tau_{1} = 1}^{n} \sum_{\tau_{2} = 1}^{n} h_{t_{1} \tau_{1}} h_{t_{2} \tau_{2}}^{*} R_{z} (\tau_{1}, \tau_{2})
  • Thus,
    • m_{y} = E\{y(u)\} = E \{Hz(u)\} = HE\{z(u)\} = Hm_{z}
    • R_{y} = E\{y(u) y^{\dagger}(u) \} = E\{Hz(u)(Hz(u))^{\dagger}\}
      • = E\{Hz(u) z^{\dagger}(u) H^{\dagger}\} = HE\{z(u) z^{\dagger}(u)\}H^{\dagger}
      • = HR_{z} H^{\dagger}
    • \tilde{R}_{y} = E \{ Hz(u) z^{t}(u) H^{t} \}
      • HE\{z(u) z^{t}(u)\}H^{t} = H \tilde{R}_{z} H^{t}
  • Centered output vector
    • y_{0}(u) = y(u) - m_{y} = Hz(u) - Hm_{z}
    • = H[z(u) - m_{z}] = Hz_{0}(u)
  • Covariance matrix
    • K_{y} = HK_{z}H^{\dagger}
  • Pseudo-covariance matrix
    • \tilde{K}_{y} = H \tilde{K}_{z} H^{t}

Simulation problem

  • Real white random vector w(u)
    • m_{w} = 0, K_{w} = \sigma^{2} I
  • Complex white random vector w_{c}(u)
    • m_{w_{c}} = 0, K_{w_{c}} = 2 \sigma^{2} I, \tilde{K}_{w_{c}} = 0
  • Simulation block diagram (다이어그램 이미지 생략)
    • z(u) = Hw(u) + c
    • m_{z} = \mathbb{E} \{ Hw(u) + c\} = \mathbb{E} \{ Hw(u) \} + \mathbb{E} \{ c \}
      • = H \mathbb{E} \{ w(u) \} + c = c
    • z_{0}(u) = z(u) - m_{z}
    • z_{0}(u) = Hw(u)
    • K_{z} = R_{z_{0}} = HH^{\dagger}

Covariance Matrix Structure and Factorization

  • Ke = \lambda e, (e \neq 0)
    • \lambda 는 eigenvalue, e 는 eigenvector
  • Hermitian matrix K 의 Eigenvalue \lambda 는 항상 real이 된다.
    • (e^{\dagger} Ke)^{\dagger} = e^{\dagger}Ke = \lambda |e|^{2}
    • e^{\dagger} Ke 는 자기자신의 conjugate와 같다. conjugate 했는데 자기 자신이 된다는 것은 real이라는 뜻
  • non-negative definite matrix K 의 eigenvalue \lambda 는 항상 non-negative하다.
    • 만일 K 가 positive definite 하면 \lambda 는 반드시 positive하다.
  • Hermitian matrix K 의 distinct한 eigenvalue들은 orthogonal하다.
    • \lambda_{1} \neq \lambda_{2}
    • \lambda_{1} e_{1}^{\dagger} e_{2} = (Ke_{1})^{\dagger} e_{2} = e_{1}^{\dagger} K^{\dagger} e_{2}
      • = e_{1}^{\dagger}K e_{2} = \lambda_{2} e_{1}^{\dagger} e_{2}
    • \lambda_{1} \neq \lambda_{2} 이므로 e_{1}^{\dagger} e_{2} = 0
  • 같은 eigenvalue를 갖는 eigenvector들의 집합은 linear space의 subspace가 된다.
    • K(e_{1} + e_{2}) = Ke_{1} + Ke_{2} = \lambda(e_{1} + e_{2})
    • K(a e_{1}) = aKe_{1} = \lambda_{1} (ae_{1})
  • Hermitian matrix들은 항상 대각화 가능하다.

Unitary matrix

  • E^{\dagger}E = I = E E^{\dagger} E 를 unitary matrix라 한다.
    • K = E \Lambda E^{\dagger}
    • diagonal matrix \Lambda 에 루트를 씌우면
      • \Lambda^{1 \over 2} = \left[ \begin{array}{rrr} \lambda_{1}^{1 \over 2} &  & 0 \\ & ... &  \\ 0 &  & \lambda_{n}^{1 \over 2} \end{array} \right]
    • K = E\Lambda^{1 \over 2} \Lambda^{1 \over 2} E^{\dagger} = (E \Lambda^{1 \over 2})(E \Lambda^{1 \over 2})^{\dagger}
  • K 의 다른 factorization도 가능하다.
    • K = (E \Lambda^{1 \over 2} U)(E \Lambda^{1 \over 2} U)^{\dagger}
    • U 는 unitary matrix
  • Simulation Solution
    • z_{0}(u) = E \Lambda^{1 \over 2} U w(u)

 

댓글 남기기

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.