[선형대수학] - 직교성 (Orthogonality)

코시-슈바르츠 부등식 (Cauchy-Schwarz Inequality)

$\textbf{x}, \textbf{y} \in \mathbb{R}^n$에 대해 다음이 성립한다.

$|\textbf{x} \cdot \textbf{y}| \leq ||\textbf{x}|| ||\textbf{y}||$

증명:

1. $\textbf{x}$와 $\textbf{y}$가 이루는 각도를 $\theta$라고 하면, $\textbf{x} \cdot \textbf{y} = ||\textbf{x}|| ||\textbf{y}|| \cos\theta$이다.
2. $|\cos\theta| \leq 1$이므로 $|\textbf{x} \cdot \textbf{y}| \leq ||\textbf{x}|| ||\textbf{y}||$이다.

 

삼각 부등식 (Triangle Inequality)

$\textbf{x}, \textbf{y} \in \mathbb{R}^n$에 대해 다음이 성립한다.

$||\textbf{x} + \textbf{y}|| \leq ||\textbf{x}|| + ||\textbf{y}||$

증명:

1. $(||\textbf{x} + \textbf{y}||)^2 = (\textbf{x} + \textbf{y}) \cdot (\textbf{x} + \textbf{y})  = ||\textbf{x}||^2 + ||\textbf{y}||^2 + 2\textbf{x} \cdot \textbf{y} \; (\because ||\textbf{x}|| = \sqrt{\textbf{x} \cdot \textbf{x}})$.
2. $||\textbf{x}||^2 + ||\textbf{y}||^2 + 2\textbf{x} \cdot \textbf{y} \leq ||\textbf{x}||^2 + ||\textbf{y}||^2 + 2|\textbf{x} \cdot \textbf{y}| \leq ||\textbf{x}||^2 + ||\textbf{y}||^2 + 2||\textbf{x}|| ||\textbf{y}||$.
3. 따라서 $(||\textbf{x} + \textbf{y}||)^2 \leq (||\textbf{x}|| + ||\textbf{y}||)^2$이며, $||\textbf{x} + \textbf{y}|| \leq ||\textbf{x}|| + ||\textbf{y}||$이다.

 

삼각 부등식의 다른 형태

$\textbf{x}, \textbf{y}, \textbf{z} \in \mathbb{R}^n$에 대해 다음이 성립한다.

$d(\textbf{x}, \textbf{y}) \leq d(\textbf{x}, \textbf{z}) + d(\textbf{z}, \textbf{y})$

증명:

1. $||\textbf{x} - \textbf{y}|| = ||\textbf{x} - \textbf{z} + \textbf{z} - \textbf{y}|| \leq ||\textbf{x} - \textbf{z}|| + ||\textbf{z} - \textbf{y}||$.

 

직교성 (Orthogonality)

$\textbf{x}, \textbf{y} \in \mathbb{R}^n$에 대하여 다음을 만족하면 $\textbf{x}$와 $\textbf{y}$는 직교한다.

$\textbf{x} \cdot \textbf{y} = 0$

더욱 일반화하여 $\mathbb{R}^n$의 부분 집합 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 아래를 만족하면 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$는 직교한다고 정의한다.

$\textbf{x}_i \cdot \textbf{x}_j = 0,  \forall i, j \in \{1, 2, ..., k\}, i \neq j, \textbf{x}_i \neq \textbf{0}, \textbf{x}_j \neq \textbf{0}$.

 

정규직교 (Orthonormal)

$\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 아래의 두 조건으 만족하면 정규직교한다고 한다.

• $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교
• $||\textbf{x}_i|| = 1, \forall i = \{1, 2, ..., k\}$

 

직교하는 집합에 대한 스칼라 곱

$\mathbb{R}^n$의 집합 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하면, 모든 $\alpha_i \in \mathbb{R}$에 대해 $\{\alpha_1\textbf{x}_1, \alpha_2\textbf{x}_2, ..., \alpha_k\textbf{x}_k\}$도 직교한다.

증명:

1. $\forall i, j \in \{1, 2, ..., k\}, i \neq j, \textbf{x}_i \neq \textbf{0}, \textbf{x}_j \neq \textbf{0}$에 대해 $\alpha_i\textbf{x}_i \cdot \alpha_j\textbf{x}_j = 0$임을 보인다.
2. $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하므로, $\alpha_i \textbf{x}_i \cdot \alpha_j \textbf{x}_j = \alpha_i \alpha_j (\textbf{x}_i \cdot \textbf{x}_j) = 0$이다.

 

선형대수학 관점에서의 피타고라스 정리

$\mathbb{R}^n$의 집합 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하면, 아래가 성립한다.

$||\textbf{x}_1 + \textbf{x}_2 + \cdots + \textbf{x}_k||^2 = ||\textbf{x}_1||^2 + ||\textbf{x}_2||^ + \cdots + ||\textbf{x}_k||^2$

 

직교성과 선형 독립

$\mathbb{R}^n$의 집합 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하면 $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$는 선형 독립이다.

증명:

1. $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하면, $\alpha_1\textbf{x}_1 + \alpha_2\textbf{x}_2 + \cdots + \alpha_k\textbf{x}_k = \textbf{0} \Rightarrow \alpha_1 = \alpha_2 = \cdots = \alpha_k = 0$임을 보인다.
2. $(\alpha_1\textbf{x}_1 + \alpha_2\textbf{x}_2 + \cdots + \alpha_k\textbf{x}_k) \cdot (\alpha_1\textbf{x}_1 + \alpha_2\textbf{x}_2 + \cdots + \alpha_k\textbf{x}_k) = 0$.
3. $\{\textbf{x}_1, \textbf{x}_2, ..., \textbf{x}_k\}$가 직교하므로, $\alpha_1^2||\textbf{x}_1||^2 + \alpha_2^2||\textbf{x}_2||^2 + \cdots + \alpha_k^2||\textbf{x}_k||^2 = 0$.
4. $\forall i \in \{1, 2, ..., k\}, ||\textbf{x}_i||^2 \geq 0$이므로, $\alpha_1 = \alpha_2 = \cdots = \alpha_k = 0$이다.
5. 따라서, $\alpha_1\textbf{x}_1 + \alpha_2\textbf{x}_2 + \cdots + \alpha_k\textbf{x}_k = \textbf{0} \Rightarrow \alpha_1 = \alpha_2 = \cdots = \alpha_k = 0$이다.

그러나 선형 독립이 직교성을 말하지는 않는다.

증명:

• $\textbf{x} = [1, 0]^T, \textbf{y} = [1, 1]^T$.
• $a\textbf{x} + b\textbf{y} = \textbf{0} \Rightarrow a = b = 0$이 성립하지만, $\textbf{x} \cdot \textbf{y} \neq 0$이므로 $\textbf{x}$와 $\textbf{y}$는 직교하지 않는다.

 

직교 기저와 선형 결합

$U \subseteq \mathbb{R}^n$에 대해 $\{\textbf{f}_1, \textbf{f}_2, ..., \textbf{f}_k\}$를 $U$의 직교 기저 (orthogonal basis)라고 하면, $\textbf{x} \in U$는 아래의 선형 결합으로 표현될 수 있다.

$\textbf{x} = \left(\frac{\textbf{x} \cdot \textbf{f}_1}{||\textbf{f}_1||}\right)\textbf{f}_1 + \left(\frac{\textbf{x} \cdot \textbf{f}_2}{||\textbf{f}_2||}\right)\textbf{f}_2 + \cdots + \left(\frac{\textbf{x} \cdot \textbf{f}_k}{||\textbf{f}_k||}\right)\textbf{f}_k$

증명:

1. $U = span\{\textbf{f}_1, \textbf{f}_2, ..., \textbf{f}_k\}$ 이므로, $\alpha_i \in \mathbb{R}$에 대해 $\textbf{x} = \alpha_1\textbf{f}_1 + \alpha_2\textbf{f}_2 + \cdots + \alpha_k\textbf{f}_k$.
2. $\{\textbf{f}_1, \textbf{f}_2, ..., \textbf{f}_k\}$는 직교하므로, 양변에 $\textbf{f}_i$를 내적하면 $\textbf{x} \cdot \textbf{f}_i = \alpha_i \textbf{f}_i \cdot \textbf{f}_i \; (\because \textbf{f}_i \cdot \textbf{f}_j = 0)$.
3. 따라서, $\alpha_i = \frac{\textbf{x} \cdot \textbf{f}_i}{||\textbf{f}_i||^2}$.