eigenvalue & eigenvector

* intro

🔅 위에서 배운 transform 연산에서 transformation에 영향을 받지 않는 부분, 즉 transform을 해도 방향이 변하지 않는 벡터(값은 변할 수 있음)를 '고유벡터(eigenvector)'

 

(※ 벡터의 차원에서는 transformation은 곧 벡터가 가리키는 방향이 변함을 뜻한다.

scalar 배를 곱한 결과, 즉 벡터 크기 변화는 중요치 X)

 

🔅 이 때, transformation에서 변하는 scalar 값을 'eigenvalue(고유값)'이라고 한다

 

🔅고유벡터 & 고유값은 항상 쌍을 이루고 있다

 

- λ는 고유값 -

 

$T(v) = \lambda v$

 

🔅 다시 고유벡터와 고유값을 정의하자면 아래와 같다

 

'임의의 $n x n$ 행렬 $A$에 대하여,

0이 아닌 솔루션 vector $\vec{x}$가 존재한다면, 숫자 $\lambda$는 행렬 $A$의 고유값이라고 할 수 있다.'

$A\vec{x} = \lambda\vec{x}$

(이 때, 솔루션인 vector $\vec{x}$는 고유값 $\lambda$에 대응하는 고유벡터이다.)

($A$는 $n x n$ 행렬이고, $v$는 nx1 벡터(≠0벡터), $\lambda$는 $A$의 고유값)

* eigenvalue & eigenvector 기하학적 의미

🔅 eigenvector는 임의의 행렬 $A$에 의한 선형변환 결과 위치 변화 없이 그 방향 그대로 유지하고 있고, 단순히 기존 eigenvector에 스칼라 배를 곱한(고유값의 크기만큼 곱한) 결과의 vector로 변환될 뿐이다.

 

🔅 즉, 고유벡터란 행렬 $A$에 의해 선형변환되는 경우 방향은 바뀌지 않고, 길이만 달라지는 벡터

 

🔅 $Av = \lambda v$는 다시 말하면 고유벡터에 대한 $A$의 사상이 고유벡터를 스칼라배한 것과 같다.

 

🔅 $Av$는 벡터의 방향은 바꾸지 않고, 크기만 변경시킴

 

🔅 우리는, 이런 고유벡터를 행렬 $A$의 고유한 특성을 나타내는 벡터라고 한다.

* eigenvalue & eigenvector 계산하기

🔅 고유값과 고유벡터 계산하기>

 

$A\vec{x} = \lambda\vec{x}$

$A\vec{x} = \lambda I \vec{x}$

$(A - \lambda I)\vec{x} = \vec{0}$

($I$는 nxn 단위행렬)

 

여기서 $\vec{x}$ ≠ 0인 경우를 만족하기 위해서는,

$det(A-\lambda I) = 0$이어야 한다!

 

① $A - \lambda I$의 행렬식이 0인 연산으로 고유값 $\lambda$를 구한다.

② 구한 고유값을 $A\vec{x} = \lambda\vec{x}$ 식에 집어넣어 $\vec{x}$를 구한 결과가 고유벡터(eigenvector)이다

 

※ 만약 ① 연산에서 $A - \lambda I$의 역행렬이 존재하는 경우 만족하는 벡터는 0벡터밖에 없다.

 

🔅 ex) 주어진 nxn matrix A가 있다면, eigenvalue와 eigenvector를 바로 구할수 있다. (존재할 경우)

$$A = \begin{bmatrix}
5 & 1 \\
3 & 3 \\
\end{bmatrix},
(A - \lambda I) = \begin{bmatrix}
5 - \lambda & 1 \\
3 & 3 - \lambda \\
\end{bmatrix},
det(A-\lambda I) = (5 - \lambda)(3 - \lambda) - 3 = 0$$

 

$\lambda$는 2와 6이 나오고

 

$$(A - \lambda I)v = \begin{bmatrix}
5 - \lambda & 1 \\
3 & 3 - \lambda \\
\end{bmatrix}\begin{bmatrix}
x \\ y
\end{bmatrix} = 0$$

 

① $\lambda = 2$라면 $3x + y = 0$ 을 만족하는 모든 $x,y$가 $\lambda = 2$에 대한 eigenvector가 된다.

② $\lambda = 6$이라면 $x + y = 0$을 만족하는 모든 $x,y$가 eigenvector

* determinant / tr(A)

🔅 ① det|A|는 곧 고유값들의 곱을 뜻한다.

🔅 ② tr(A)는 A의 대각성분들의 합으로 이는 고유값들의 합을 뜻한다.

 

🔅 증명) 예시 matrix $A$

→ 위 $A$에서 $Av = \lambda v$를 만족하는 eigenvector가 존재한다면, det연산에 의해 $det(A - \lambda I) = (a - \lambda)*(d - \lambda) - bc = 0$이 되고 이를 $\lambda$에 대해 정리하면 $\lambda ^ 2 - \lambda (a+d) + ad - bc = 0$

 

→ 즉 eigenvalue $\lambda_{1}, \lambda_{2}$가 존재한다면

 

$\lambda_{1} \lambda_{2} = ad - bc = |A|$

$\lambda_{1} + \lambda_{2} = a + d = tr(A)$

 

🔅 ex) 따라서 위 예시에서 주어진 matrix $A$의 eigenvalue는 6과 2이므로 

→ $det|A| = 5*3 - 3*1 = 6 * 2 = 12$

→ $tr(A) = 5 + 3 = 6 + 2 = 8$라고 할 수 있다.

 

🔅 만약 det|A|가 0이라면? → 값이 0인 eigenvalue $\lambda$가 존재한다는 뜻 (eigenvalue의 곱이 det |A|이므로)

→ 따라서, nxn 행렬 A에 대해서 eigenvalue가 0인 eigenvector가 존재하지 않는다는 건 A는 full-rank matrix이고, A의 열(행)은 서로 linearly independent, A의 역행렬은 존재한다는 뜻이다.

 

🔅 파이썬 - linalg.eig() 활용

 

① determinant가 0이 아닐 경우

import numpy as np

A = np.array([[5,1],
              [3,3]])

eigVals, eigVecs = np.linalg.eig(A)

eigVals #array([6., 2.])

eigVecs
'''
array([[ 0.70710678, -0.31622777],
       [ 0.70710678,  0.9486833 ]])
'''

v1 = eigVecs[:, 0]
v2 = eigVecs[:, 1]

np.linalg.norm(v1) #1
np.linalg.norm(v2) #1

 

② determinant가 0일 경우

singular_mat = np.array([[1, 2],
                        [2, 4]])

np.linalg.eig(singular_mat)
'''
(array([0., 5.]),
 array([[-0.89442719, -0.4472136 ],
        [ 0.4472136 , -0.89442719]]))
'''

np.linalg.det(singular_mat) #0.0

np.linalg.matrix_rank(singular_mat) #1

np.linalg.inv(singular_mat) #LinAlgError: Singular matrix

* Eigenvectors of real symmetric matrices are orthogonal

🔅 행렬 $A$가 대칭행렬이라면, 고유벡터는 서로 수직이다

 

🔅 증명) 행렬 $A$가 있고, 고유값 $\lambda_{1}$에 대응하는 고유벡터 $x$ / 고유값 $\lambda_{2}$에 대응하는 고유벡터 $y$

→ $Ax = \lambda_{1}x$ / $Ay = \lambda_{2}y$

→ 각각 양변에 $y^T, x^T$를 곱하면 $y^TAx = \lambda_{1}y^Tx$ / $x^TAy = \lambda_{2}x^Ty$

→ $y^TAx = \lambda_{1}y^Tx$를 양변 transpose하면 $x^TAy = \lambda_{1}x^Ty$

→ 즉, $\lambda_{1}x^Ty = \lambda_{2}x^Ty$

→ 따라서, $(\lambda_{2}-\lambda_{1})x^Ty = 0$

→ 서로 다른 eigenvalue이므로 $x^Ty = 0$

→ 최종적으로 두 eigenvector는 서로 직교한다. 증명

 

🔅 python

symm_mat = np.array([[1, 2],
                [2, 1]])

evalues, evectors= np.linalg.eig(symm_mat)

evectors
'''
array([[ 0.70710678, -0.70710678],
       [ 0.70710678,  0.70710678]])
'''

np.dot(evectors[:,0], evectors[:,1]) #0.0

evectors.T
'''
array([[ 0.70710678,  0.70710678],
       [-0.70710678,  0.70710678]])
'''

np.linalg.inv(evectors)
'''
array([[ 0.70710678,  0.70710678],
       [-0.70710678,  0.70710678]])
'''

---

* 썸네일 출처) https://play.google.com/store/apps/details?id=calculator.matrix.eigenvalues&hl=en_IN&gl=US 

* 내용 출처1) 고유값, 고유벡터 https://www.youtube.com/watch?v=7dmV3p3Iy90 

* 내용 출처2) https://www.youtube.com/watch?v=PFDu9oVAE-g