Inner Product Spaces, Orthogonality

Inner product space 내적 공간 : inner product가 정의되는 vector space

V가 실수 vector space이고 $u, v \in V$일 때,  만약 다음의 조건을 만족하면

$\left< u,v \right>$는 inner product 라고 한다.

1. Linear property : $\left< au_1+bu_2, v \right> = a \left< u_1,v \right> +b \left< u_2,v \right>$

2. Symmetric property : $ \left< u,v \right> = \left< v,u \right> $

3. Positive definite property : $ \left< u,u \right> \geq 0$ 이며 만약 $u=0$인 경우에만 $ \left< u,u \right> =0$이다.

 

Norm of a Vector

norm : vector의 크기

inner product로 정의된 norm : $\left\| u \right\| = \sqrt{\left< u,u\right>}$

 

Examples of Inner product spaces

Euclidean n-space $R^n$ : inner product를 dot product로 표현

inner product : $ u \cdot v = a_1b_1 + a_2b_2 + \cdots + a_nb_n$

euclidean norm :  $\left\| u \right\| = \sqrt{u \cdot u} = \sqrt{ {a_1}^2+{a_2}^2+ \cdots + {a_n}^2 }$

 

Function space $C \left[ a,b \right] $ and Polynomial space $P \left( t \right) $

$ cos\left( t \right), sin\left( t \right) \in C \left[ 0, 2\pi \right] $ : 닫힌 구간에서 연속, $t \in \left[ 0, 2\pi \right]$ 일 때,

inner product : $\left<  cos\left(  t \right), sin\left( t \right) \right> = \int_{0}^{2\pi} cos\left( t \right) sin\left( t \right) dt = 0 $

 

Matrix space

A와 B 모두 m x n 행렬일때,

inner product : $\left< A, B \right> = tr\left(B^T A \right) $

trace : 행렬의 주 대각선의 원소의 합이다.

$ A= \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \\ \end{bmatrix}$ 일 때,

$tr\left( A \right) = a_{11} + a_{22} + a_{33} = 1 + 5 + 9 = 15$

 

Hilbert space

유한한 유클리디안 공간을 무한 차원으로 확장한 개념

푸리에 해석이 이루어지는 공간

 

Cauchy-Schwarz Inequality

${\left< u, v \right> }^2 \leq \left< u,u\right> \left< v,v\right>$ or $ \left| \left< u,v\right> \right| \leq \left\| u \right\| \left\| v \right\| $

u와 v가 평행할 때 등호가 성립한다.

$u = \left[ 1,2,3 \right], v=\left[ 4,-5,6 \right]$ 에 대해:

$u \cdot v = 4-10+18=12$,

$\left\| u \right\|=\sqrt{1^2+2^2+3^2}=\sqrt{14}$, $\left\| v \right\|=\sqrt{4^2+{-5}^2+6^2}=\sqrt{77}$

$ \therefore 12 \leq \sqrt{14}\sqrt{77}=\sqrt{1078} \approx 32.8 $

 

triangular inequality 삼각 부등식

삼각형의 두 변의 합은 나머지 한 변의 합보다 크다.

$ \left\| u+v \right\| \leq \left\| u \right\| + \left\| v \right\|  $

 

Orthogonality

두 벡터의 inner product가 0이면 orthogonal 직교 하다.

$$ \left< u,v \right> = 0 $$

 

orthogonal complements

S가 inner product space V의 부분집합이라고 하자. S의 orthogonal complement $S^\perp$는 모든 vector $u \in S$와 수직한 vector의 구성이다.

$ S^\perp = \left\{ v \in V : \left< v, u \right> = 0 \quad for \; every \quad u \in S \right\} $

$ S \subset V, S^\perp \subset V, V = S \oplus S^\perp$

 

Gram-Schmidts Orthogonalization Process

주어진 벡터 집합을 선형 독립성을 유지하면서 서로 직교하는 벡터 집합으로 변환하는 과정

주어진 집합 : $ \left\{ v_1, v_2, \cdots, v_n \right\} $ : 선형 독립인 벡터 집합

출력 : $ \left\{ u_1, u_2, \cdots, u_n \right\} $ : 직교 벡터 집합

알고리즘 : 

1. 첫 번째 벡터 $u_1$ : 

$$ u_1 = v_1$$

2. 두 번째 벡터 $u_2$ : $v_2$에서 $u_1$의 성분을 제거하여 직교시킨다.

$$ u_2 = v_2 - proj_{u_1} \left ( v_2 \right ) $$

여기서 $ proj_{u_1} \left ( v_2 \right )  $는 $v_2$가 $u_1$방향으로 투영된 성분이다. 즉, $v_2$의 $u_1$방향 성분이다.

$$ proj_{u_1} \left ( v_2 \right ) = \frac{ \left< v_2,u_1 \right> }{  \left< u_1,u_1 \right> } u_1 $$

 

* $u_1=\begin{bmatrix} 1 \\ 2 \\ \end{bmatrix}, v_2 =\begin{bmatrix} 3 \\ 4 \\ \end{bmatrix} $ 일 때,

$ \left< v_2,u_1 \right> = 3+8 = 11, \left< u_1,u_1 \right> = 1^2 + 2^2 = 5 $

$ proj_{u_1} \left ( v_2 \right ) = \frac{11}{5} \begin{bmatrix} 1 \\ 2 \\ \end{bmatrix} $

$v_2$는 $u_1$방향으로 $ \frac{11}{5} $ 배 만큼 겹쳐진다.  

 

 

예제

주어진 벡터 : $v_1 = \begin{bmatrix} 1 \\ 1 \\ 0 \\ \end{bmatrix}$, $v_2 = \begin{bmatrix} 1 \\ 0 \\ 1 \\ \end{bmatrix} $

두 벡터는 선형 독립이다.

단계1 : $ u_1 = v_1 = \begin{bmatrix} 1 \\ 1 \\ 0 \\ \end{bmatrix}$

단계2 : $ proj_{u_1} \left ( v_2 \right ) = \frac{ \left< v_2,u_1 \right> }{  \left< u_1,u_1 \right> } u_1  $

$ \left< v_2,u_1 \right> = 1 + 0 + 0 = 1$, $\left< u_1,u_1 \right> = 1 + 1 + 0 = 2$

$ proj_{u_1} \left ( v_2 \right ) = \frac{1}{2} \begin{bmatrix} 1 \\ 1 \\ 0 \\ \end{bmatrix} = \begin{bmatrix} 0.5 \\ 0.5 \\ 0 \\ \end{bmatrix} $

결국 $u_2 = v_2 - proj_{u_1} \left ( v_2 \right ) = \begin{bmatrix} 1 \\ 0 \\ 1 \\ \end{bmatrix} - \begin{bmatrix} 0.5 \\ 0.5 \\ 0 \\ \end{bmatrix} = \begin{bmatrix} 0.5 \\ -0.5 \\ 1 \\ \end{bmatrix} $

결과 : 새로운 직교 벡터 집합

$ u_1 = \begin{bmatrix} 1 \\ 1 \\ 0 \\ \end{bmatrix}$, $ u_2 = \begin{bmatrix} 0.5 \\ -0.5 \\ 1 \\ \end{bmatrix}$

 

Orthogonal Matrix

만약 실수 matrix P가 nonsingular이고 $P^{-1}=P^T$이면 P는 orthogonal이다.

$SO \left ( 3 \right )$ : special orthogonal 3, 회전행렬

 

Positive definite matrix

내적 $ \left< u,Au \right> $는 $A^T = A$인 real symmetrix matrix A에 대해 $u^T Au$와 같다.

real symmetrix matrix A와, nonzero vector $u \in \mathbb{R}^n$ 에 대해,

$ \left< u,Au \right> = u^T Au > 0 $ 이면

A는 positive definite 이다.

특징 : 모든 고윳값이 양수이다.