Linear independence, Basis, and Dimension
출처: Gilbert Strang, Linear Algebra
다룰 내용
- Linear independence or dependence
- Spanning a subspace
- Basis for a subspace (a set of vectors)
- Dimension of a subspace (a number)
Linear Independent
주어진 벡터 $\nu_1, \dots, \nu_k$ 의 combination $c_1\nu_1, \dots, c_k\nu_k$ 를 보자.
여기서 모든 가중치인 $c_i = 0$ 이면, $0\nu_1 + \dots + 0\nu_k = 0$ 가 된다.
질문: 이것이 유일하게 0을 만드는 방법인가?
Linear dependence는 쉽게 3차원 공간을 생각하면 된다.
두 벡터가 dependent 하면 같은 직선(line)이다.
세 벡터가 dependent 하면 같은 평면(plane)에 속한다.
위 (1) 식에 2배를 하면, (2) 식이 된다. 이런 경우를 dependent 하다고 한다.
예제: Triangular matrix의 column들이 linearly independent할 경우
\[\text{No zeros on the diagonal}\quad A = \begin{bmatrix} 3 & 4 & 2 \\ 0 & 1 & 5 \\ 0 & 0 & 2 \end{bmatrix}\]Column들의 combination이 $0$ 이 되는 값을 찾아보자.
\[\text{Solve}\ Ac = 0\quad c_1\begin{bmatrix}3 \\ 0 \\ 0\end{bmatrix} + c_2\begin{bmatrix}4 \\ 1 \\ 0\end{bmatrix} + c_3\begin{bmatrix}2 \\ 5 \\ 2\end{bmatrix} = \begin{bmatrix}0 \\ 0 \\ 0\end{bmatrix}\]여기서 $c_1, c_2, c_3$ 가 $0$ 이 되는지 살펴보자. 마지막 식에서 $2c_3 = 0$ 즉, $c_3 = 0$ 이 된다.
다음 식에서 $c_2 = 0$ 이 되고, $c_1 = 0$ 이 된다.
$A$ 의 nullspace에서 0 벡터는 오직 $c_1 = c_2 = c_3$ 가 된다.
$A$ 의 row들에 대해서도 성립한다.
\[c_1\left(3, 4, 2\right) + c_2\left(0, 1, 5\right) + c_3\left(0, 0, 2\right) = \left(0, 0, 0\right)\]non-zero row들을 가진 echelon matrix $U$ 는 무조건 independent 하다.
\[U = \begin{bmatrix} \boxed{1} & 3 & 3 & 2 \\ 0 & 0 & \boxed{3} & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix}\]pivot column 1과 3은 independent 하다. 이제 세 column들이 independent 하는 경우는 없다.
즉, pivot column들은 independent 가 보장되었다.
Spanning a Subspace
$A$ 의 column 공간은 column에 의해 span 되었다. 이 combination들은 전체 공간을 표현한다.
$w_1, \dots, w_l$ 의 linear combination들로 구성된 벡터 공간 $V$ 에서
이 벡터들이 공간을 span 했다고 한다.
여기서 $v$ 는 $v = c_1w_1 + \dots + c_lw_l$ 와 같다.
예제: $\mathbb{R}^3$ 공간에서 벡터들 $w_1 = \left(1, 0, 0\right),\ w_2 = \left(0, 1, 0\right),\ w_3 = \left(-2, 0, 0\right)$ 은 x-y 평면(plane)
첫 두 벡터들은 평면에 span 했고, $w_1$ 과 $w_3$ 은 한 직선에 있다.
Basis for a Vector Space
$Ax = b$ 를 해결해보자.
그리고 만약 column들이 independent 하다면, 우리는 $Ax = 0$ 을 푸는 것이다.
Span은 column 공간과 independence는 nullspace를 포함한다.
벡터 $e_1, \dots, e_n$ 로 구성된 span $\mathbb{R}^n$ 에서 linearly independent 하다.
쉽게 말해, 어떤 벡터도 낭비되지 않다는 것이다.
이 아이디어가 basis 에서 가장 중요한 부분 중 하나다.
공간에 있는 모든 벡터들은 basis 벡터들의 combination이다.
때문에 다음과 같은 수식이 성립한다. $v = a_1v_1 + \dots + a_kv_k$ 와 $v = b_1v_1 + \dots + b_kv_k$ 의 뺄셈이 가능하다. $0 = \Sigma{(a_i - b_i)v_i}$
Independent가 성립하면 $a_i - b_i$ 는 무조건 $0$ 이다. 그러므로 $a_i = b_i$ 이고 유일한 표현식이기 때문에 basis 벡터의 combination이라 할 수 있다.
Dimension of a Vector Space
Basis 벡터의 수는 공간의 특성과 같다.
$\mathbb{R}^n$ 공간의 차원은 $n$ 이다.
예를 들어 $\mathbb{R}^3$ 공간에서 2차원만 작동한다면 $\mathbb{R}^3$ 차원 공간에서 2차원 subspace라 표현할 수 있다.