김영길/ 선형대수학/ inner product space, Gram Schmidt process

Inner product space

(지난 강의 설명 생략)

  • x = (1 + i, 4), y = (2 - 3i, 4 + 5i), x, y \in C^{2} 일 때, x, y 의 inner product는 다음과 같다.
    • \langle x, y \rangle = (1+i)(2+3i) + 4(4-5i) = 15 - 15i
    • (뒤에 곱해주는 벡터는 복소수 앞의 부호가 반전 됨을 주의(켤레). 벡터가 R 에 속할 때는 복소수가 없기 때문에 그냥 곱해줬던 것)
  • Ex 3)
    • V = C([0, 1])
      • ([0, 1] 사이의 연속 함수들의 집합일 때)
      • \langle f, g \rangle = \int_{0}^{1} f(t) g(t) dt

Def. Conjugate transpose

  • A \in M_{m \times n}(F) 일 때  A 의 Conjugate transpose는 A* 라 한다.
  • Conjugate transpose는 책마다 adjoint 라고도 하고 Hermitian이라고도 한다. (다 동일한 개념) 각각 기호는 다음과 같다.
    • A* = A^{H} = A^{\dagger}
  • Conjugate transpose는 대각선 위치에 있는 원소들은 켤레 복소수로 만들고, 그 밖의 원소들은 켤레 복소수로 만들면서 위치를 tranpose 해준다.
    • \left[ \begin{array}{rr} 1 & 1 - 2i \\ 2 - i & 1 + i \end{array} \right] = \left[ \begin{array}{rr} 1 & 2 + i \\ 1 + 2i & 1 - i \end{array} \right]

Def. Norm of x

  • inner product 가 있는 vector space를 inner product space라 한다.
  • Norm은 inner product가 있으면 자동적으로 파생된다.
  • 벡터 x 의 norm은 다음과 같이 정의된다.
    • \|x\| = \sqrt{ \langle x, x \rangle }
      • (자기 자신을 내적한 후에 루트를 씌운 것)
  • Ex 6)
    • x = (a_{1}, a_{2}, ... , a_{n}) \in F^{n} 일 때
      • \|x\| = \sqrt{|a_{1}|^{2} + |a_{2}|^{2} + ... + |a_{n}|^{2}}

Thm 6.2

  • \| c \cdot x \| = |c| \cdot \|x\|
  • \|x\| = 0 인 경우는 x = 0 인 경우 밖에 없다.
    • \|x\| \geq 0

inequality

  • Cauchy-Schwartz inequality
    • | \langle x, y \rangle | \leq \|x\| \cdot \|y\|
    • (두 벡터의 내적의 절대값이 각각의 norm의 곱보다 작다)
  • Triangular inequality (삼각 부등식)
    • \| x + y \| \leq \|x\| + \|y\|
    • (두 변의 길이의 합은 나머지 한 변의 길이 보다 항상 크다)

Def. orthogonal, orthonormal, nomalization

  • x, y 의 내적이 0이면 orthogonal이라고 한다. (일반적으로 두 벡터가 수직이다라고 표현하는 개념)
    • \langle x, y \rangle = 0
  • 벡터들의 집합 S 에 대해, 집합 내 벡터들 간의 내적이 orthogonal 할 때, 집합 S 는 orthogonal 하다고 한다.
  • 벡터 x 의 norm이 1일 때 x 를 unit vector라고 한다.
    • \|x\| = 1
  • 벡터들의 집합 S 에 대해 집합이 orthogonal하고 집합 내 모든 벡터가 unit vector일 때 orthonormal이라고 한다.
    • S = \{ v_{1}, v_{2}, ... , v_{n} \}
    • \langle v_{i}, v_{j} \rangle = \delta_{ij} = \begin{cases} 1 & i = j \\ 0 & i \neq j \end{cases} 
      • (자기 자신과의 내적한 것이 1이고 (=norm), 다른 벡터와 내적은 0)
    • 이때 \delta_{ij} 를 Kronecker delta function이라 한다.
  • 벡터 x 의 normalization이란 방향은 같지만 크기가 1 인 벡터를 의미한다.
    • y = {x \over \|x\|}
    • \|y\| = 1
  • (계산 예제 생략 – 교재 참조)

6.2 Gram-Schmit orthonormalization

  • F^{3} 에서 표준기저 \{ (1, 0, 0), (0, 1, 0), (0, 0, 1) \} 는 orthonormal basis가 된다.
  • \{ ({1 \over \sqrt{5}}, {2 \over \sqrt{5}}), ({2 \over \sqrt{5}}, -{1 \over \sqrt{5}}) \} R^{2} 에서 orthonormal basis가 된다.
  • Ex 3)
    • S = \{ u_{1}, u_{2}, u_{3} \} 가 orthonormal set이고
      • S = \{ {1 \over \sqrt{2}}(1, 1, 0), {1 \over \sqrt{3}}(1, -1, 1), {1 \over \sqrt{6}}(-1, 1, 2) \}
    • y = (2, 1, 3) = span(S) 일때
    • y 를 기저의 선형 결합으로 표현하고자 한다면
      • y = a_{1}u_{1} + a_{2} u_{2} + a_{3} u_{3}
    • 이때의 계수는 어떻게 구할 수 있는가
      • a_{1}, a_{2}, a_{3} = ?
    • projection을 구하면 된다.
      • y = a_{1}u_{1} + a_{2} u_{2} + a_{3} u_{3}
      • y \cdot u_{1} = (a_{1} u_{1} + a_{2} u_{2} + a_{3} u_{3}) \cdot u_{1}
        • 양변에 u_{1} 을 대입하면 u_{1} 끼리 곱하면 1 이 되므로 a_{1} 만 남고 orthonormal이므로 u_{1}, u_{2}, u_{3} 의 내적은 모두 0이 된다. 고로 a_{1} = \langle y, u_{1} \rangle 만 남게 된다.
      • a_{1} = \langle y, u_{1} \rangle = (2, 1, 3) \cdot {1 \over \sqrt{2}} (1, 1, 0) = {1 \over \sqrt{2}}(2 + 1) = {3 \over \sqrt{2}}
      • 같은 식으로 a_{2}, a_{3} 에 대해서도 계산해 주면 된다.

Gram-Schmidt Process

  • inner product space의 선형독립인 부분집합 \{ w_{1}, w_{2} \} 에서 orthonormal하고 span(\{ w_{1}, w_{2} \}) = span(\{ u_{1}, u_{2} \}) 인 부분집합 \{ u_{1}, u_{2} \} 를 찾는 절차 
    1. u_{1} 을 normalize한다
      • u_{1} = {w_{1} \over \|w_{1}\|}
    2. w_{2} 에서 u_{1} 과 평행한 성분을 제거해서 u_{1} 와 수직인 성분만 남겨서 u_{1} 과 orthogonal한 v_{2} 를 구한다.
      • v_{2} = w_{2} - \langle w_{2}, u_{1} \rangle u_{1}
        • \langle w_{2}, u_{1} \rangle u_{1} 을 하면 w_{2} 에서 u_{1} 과 평행한 성분이 나온다.
        • 그 것을 w_{2} 에서 빼주면 결국 w_{2} 에서 u_{1} 과 의 수직인 성분만 남는다.
    3. v_{2} u_{1} 과 수직이지만 길이가 1 이 아니기 때문에 normalize해서 u_{2} 를 만든다.
      • u_{2} = {v_{2} \over \|v_{2}\|}
      • (이런 과정이 성립할 수 있는 이유는 애초에 w_{1}, w_{2} 이 선형독립이었기 때문)
  • 위와 같은 것을 \{ w_{1}, w_{2}, w_{3} \} 에서 찾는 방법 (벡터가 2개일 때와 개념은 동일하다) 
    1. u_{1} = {w_{1} \over \|w_{1}\|}
    2. v_{2} = w_{2} - \langle w_{2}, u_{1} \rangle u_{1}
    3. u_{2} = {v_{2} \over \|v_{2}\|}
    4. v_{3} = w_{3} - \langle w_{3}, u_{1} \rangle u_{1} - \langle w_{3}, u_{2} \rangle u_{2}
    5. u_{3} = {v_{3} \over \|v_{3}\|}
  • 절차
    1. 먼저 벡터 하나를 normalize 해서 orthonormal한 벡터를 만들고,
    2. normalize된 벡터를 이용해서 다음 벡터에서 처음 벡터와 평행한 성분을 제거하고
      • normalize된 벡터와 현재 벡터 사이의 내적에 다시 normalize된 벡터를 곱해서 뺀다
    3. 제거한 벡터를 normalize해서 다음 orthonormal 벡터를 만들고
    4. 모든 벡터에 대해 orthonormal 벡터를 찾을 때까지 2-3 반복
  • (Gram-Schmdit Process 예제 생략 – 교재 참조)
[ssba]

The author

지성을 추구하는 사람/ suyeongpark@abyne.com

댓글 남기기

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.