Eigenvalues and Eigenvectors

2019-12-03
Jun Sok Huhh | 🏠lostineconomics.com

tl;dr

• 행렬 대각화를 이루는 방법 중 하나는 아이겐벡터와 아이겐밸류를 재구성하는 것이다.
• 대각화가 가능한 행렬 $A$가 있고, 그 아이겐벡터를 열 벡터로 하는 행렬을 $Q$라고 하면
  $\begin{aligned} A Q & = A[x_1, \dotsc, x_n] \\ & = [\lambda_1 x_1, \cdots, \lambda_n x_n] \\ &= Q \boldsymbol{\lambda} \end{aligned}$

$AQ Q^{-1} = A = Q \boldsymbol{\lambda}Q^{-1}$

• 대각화가 가능하기 위해서는 우선 행렬 $Q$가 비특이(non-singular) 행렬이어야 한다. $Q$는 아이겐벡터의 조합이기 때문에 서로 다른 아이겐밸류를 지니거나 혹은 아이겐벡터의 선형독립이 성립해야 한다.
• 대칭 행렬의 경우 모든 아이겐밸류가 실수이고, $Q$는 직교 행렬(orthogonal matrix)이 된다. 이 경우

$A = Q\boldsymbol{\lambda}Q^T$

Definition

$\underset{(n \times n)}{\bm{A}} \underset{(n \times 1)}{x} = \lambda x, \text{ for $x \neq 0$}$

벡터 $x(\in {\mathbb R}^n)$가 있다고 하자. $\bm{A}$는 일종의 함수이고 이는 $x$를 변형시키게 된다. 이 변형이 그 자심이 되고 크기만 조정해주는 형태가 될 때, $\lambda$를 아이겐밸류 그리고 그 벡터 $x$를 아이겐벡터라고 한다. 잠깐! 여기서 아이겐 벡터는 우 아이겐벡터다. 왜냐하면, 벡터가 매트릭스의 오른쪽에 곱해지기 때문이다. 우(right) 아이겐벡터를 보통 아이겐벡터라고 쓴다. 하지만 좌(left) 아이겐벡터도 있다. 일단 이 점만 지적해두도록 하자.¹

Eigenspace

벡터들의 집합 중에서 아래의 조건을 만족하면 이를 벡터 (부분) 공간이라고 부른다.

1. 영 벡터 $\bm 0$가 원소이다.
2. $x$가 원소일 때 $\alpha x$ ($\alpha \in \mathbb{R})$도 원소다.
3. $x$, $y$가 원소일 때 $x + y$도 원소다.

쉽게 말해서 벡터 공간 위에서 덧셈과 곱셈이 가능한 공간을 지칭한다. 아이겐벡터로 구성된 공간은 이런 벡터 공간이 될까?

1. $A {\bm 0} = \lambda {\bm 0}$
2. $A(\alpha x) = \alpha(A x) = \alpha (\lambda x) = \lambda(\alpha x)$
3. $A(x_1 + x_2) = A x_1 + A x_2 = \lambda x_1 + \lambda x_2 = \lambda(x_1 + x_2)$

3번의 경우 정의대로 하나의 아이겐밸류 $\lambda$에 대해서 두 개의 아이겐벡터가 존재할 때에 해당한다. 아이겐벡터를 원소로 하는 공간은 벡터 부분 공간이 되며, 이를 아이겐스페이스라고 부른다.

Determinant and Eigenvalues

아이겐밸류의 아이겐벡터를 구하는 과정은 다음과 같다.

$|(\bm{A} - \lambda I)| = 0$

즉, 임의의 0 벡터가 아닌 매트릭스 $x$를 0 벡터로 만들기 위해서는 위의 행렬식 값이 0이어야 한다. 위 행렬식을 계산하면 $\lambda$의 $n$ 차 방정식이 될 것이다. $n$차 방정식의 근은 각각 아이겐밸류이다. 즉,

$|(\bm{A} - \lambda I)| = (\lambda_1 - \lambda) = (\lambda_2 - \lambda) \dotsb (\lambda_n - \lambda)$

위의 식에서 두가지 사실을 알 수 있다.

1. 행렬식은 아이겐밸류의 곱과 같다. 즉, $\lambda = 0$을 넣으면 이 결과를 쉽게 얻을 수 있다.
2. 가역행렬(invertible matrix)이 될 조건, 즉 역행렬이 존재할 조건은 행렬식의 값이 0이 아닌 경우다. 1의 결과를 보면, 이는 모든 아이겐밸류의 값이 0이 아닌 조건과 동치다.

Transpose

원래 행렬의 행렬식과 전치행렬의 행렬식은 같다. 이를 아이겐밸류 계산에 응용해보자.

$|\bm{A}' - \lambda I| = |(\bm{A}-\lambda I)'| = |\bm{A}-\lambda I|$

즉, 원래 행렬 $\bm{A}$와 전치 행렬 $\bm{A}'$는 같은 아이겐밸류를 갖는다.

Diagonalization

아이겐밸류와 아이겐벡터가 가장 많이 사용되는 경우는 행렬의 대각화이다. 여기서 대각화란, $a_{ii}$를 제외한 나머지 원소가 모두 0인 행렬, 즉 대각 행렬을 품는 변형을 의미한다. 대각 행렬은 여러가지로 쓸모가 많다. 특히 행렬의 $k$ 제곱이 필요한 경우 대각행렬은 그냥 해당 대각원소의 $k$ 제곱과 동일해진다. 행렬의 대각화를 살펴보자.

$y = \bm{A} x$

기본적으로 행렬은 함수다. 즉, 벡터 $x$를 투입(input)으로 보면 이를 선형 결합을 통해서 다른 어떤 산출(output) 벡터로 보내는 것이다. 일단 설명의 편의를 위해서 $x$가 2차원 벡터라고 두고 설명해보자. 즉,

$x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}.$

$\bm{A}$에 의해 변형된 결과를 아이겐벡터 $v_1$과 $v_2$를 통해서 표현할 수 있다고 가정하자. $v_1$, $v_2$를 통해 $x$, $y$를 표현하면 다음과 같다.

$\begin{aligned} x & = w_1 v_1 + w_2 v_2 \\ y & = z_1 v_1 + z_2 v_2 \end{aligned}$

이때, $w_\cdot$, $z_\cdot$은 스칼라 값임에 유의하자. 이를 매트릭스로 표시하면 다음과 같다.

$x = \bm{Q} \begin{bmatrix} w_1 \\ w_2 \end{bmatrix},~ y = \bm{Q} \begin{bmatrix} z_1 \\ z_2 \end{bmatrix}, \text{where}$

$\bm{Q} = \begin{bmatrix} v_1, v_2 \end{bmatrix}$

$v_i' v_i = 1(i = 1,2)$ 이고, $v_1 \cdot v_2 = 0$ 이라고 가정하자. 즉, $Q$가 직교행렬이라고 가정하자.

$\begin{aligned} \bm{Q}z & = \bm{A} \bm{Q} w \\ z & = \bm{Q}^{-1} \bm{A} \bm{Q} w \\ z & = \bm{Q}' \bm{A} \bm{Q} w \end{aligned}$

직교행렬의 경우 $\bm{Q}^{-1} = \bm{Q}^T$가 성립한다.² 이때

$\bm{A} \bm{Q} = [A v_1, A v_2] = [\lambda_1 v_1, \lambda_2 v_2] = [v_1, v_2] \begin{bmatrix} \lambda_1, 0 \\ 0, \lambda_2 \end{bmatrix} = \bm{Q} \boldsymbol{\lambda}.$

따라서,

$z = \bm{Q}^T \bm{Q} \boldsymbol{\lambda} w$

여기서 대각화의 핵심은

$\bm{Q}^T \bm{A} \bm{Q} = \boldsymbol{\lambda}\text{ or }\bm{A} = \bm{Q}\boldsymbol{\lambda}\bm{Q}^T$

즉, 어떤 매트릭스의 아이겐벡터가 서로 직교하면 이를 통해 직교행렬 $\bm{Q}$를 얻을 수 있다. 이를 원래 매트릭스의 좌우로 곱하면 아이겐밸류를 대각원소로 갖는 대각행렬을 얻을 수 있다.

Generalization

일반화 해보자. 대각화는 다음과 같다.

$\bm{AQ} = \bm{A} [x_1, \dotsc, x_n] = [\lambda_1 x_1, \dotsc, \lambda_n x_n] = [x_1, \dotsc, x_n] \begin{bmatrix} \lambda_1& \dotsc & 0 \\ \vdots& \ddots& \vdots \\ 0& \dotsc& \lambda_n \end{bmatrix} = \bm{Q} \boldsymbol{\lambda}$

행렬의 인수분해(factorization)은 다음을 의미한다.

$\bm{A} = \bm{Q} \boldsymbol{\lambda} \bm{Q}^{-1}$

Diagonalizable

쉽게 생각하자. 우선 $Q^{-1}$이 존재해야 한다. 즉, $Q$가 비특이 행렬이어야 한다. $Q$가 비특이 행렬이 되기 위한 조건들은 일단 행렬 대각화를 위한 필요 조건이다.

그런데 $Q$는 아이겐벡터들로 구성된 행렬이다. 따라서 $Q$가 비특이 행렬이 되기 위해서는 해당 아이겐벡터들이 모두 다르거나, 중복된 아이겐벡터가 있다면 아이겐벡터의 선형 독립이 성립해야 한다. 아이겐벡터가 모두 다르면, 즉 각기 다른 아이겐백터가 존재하면, 대각화가 가능하다. 만일 아이겐벡터가 중복이라면, 경우에 따라서 다르다.

Symmetric matrix

행렬이 대칭이면 $Q$에 더 좋은 특성이 생긴다.

1. $\bm A$ 의 아이겐밸류는 모두 실수이다.
2. $Q$는 직교행렬이다. 즉, $Q^T = Q^{-1}$ 가 성립한다.

이를 종합하면 아래와 같다.

$\bm{A} = \bm{Q} \boldsymbol{\lambda} \bm{Q}^{-1} = \bm{Q} \boldsymbol{\lambda} \bm{Q}^{T}$

Graphic interpretation

그림으로 이해하면 어떨까? 대각화라는 것은 행렬 $A$의 성분은 아이겐벡터로 재정렬해주기 위해서 축을 회전하는 것과 같은 개념이다. 이때 축의 스케일링을 담당하는 것이 가운데 대각 행렬이다.

🏠lostineconomics.com | Jun Sok Huhh

---

1. 좌 아이겐벡터와 우 아이겐벡터가 절묘하게 사용되는 사례는 마르코프 체인이다. 아이겐밸류 1이 존재하고, 그 아이겐벡터가 해당 상태의 극한 분포가 된다는 사실이 좌, 우 아이겐벡터를 번갈아 사용하면서 도출된다. 자세한 것은 여기를 참고하자. ↩︎

2. 직교행렬의 경우 $\bm{Q}^T \bm{Q} = \bm{Q} \bm{Q}^T = I$가 성립한다. 따라서 $\bm{Q}^{-1} = \bm{Q}^T$ ↩︎