Linear Equation & Linear System / Rank & det(A)

Linear Equation

👐🏻 선형 방정식이란, 변수 $x_1, x_2, .. x_n$이 있고, $a_1x_1 + a_2x_2 + ... + a_nx_n = b$로 나타낼 수 있는 방정식을 뜻한다.

(b와 계수 a_1, a_2, ~ a_n은 실수 또는 복소수)

 

👐🏻 위 equation은 이렇게도 표현 가능하다.

$a^Tx = b$

$$a = \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}, x = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$

Linear System

👐🏻 선형 시스템은 앞서 설명한 linear equation이 1개 이상 구성된 시스템을 뜻한다

 

👐🏻 예시)

ID	A	B	C	life-span
1	60	5.5	1	66
2	65	5.0	0	74
3	55	6.0	1	78

 

→ 이를 아래와 같은 linear system으로 표현할 수 있다.

 

$60x_1 + 5.5x_2 + 1*x_3 = 66$

$65x_1 + 5.0x_2 + 0*x_3 = 74$

$55x_1 + 6.0x_2 + 1*x_3 = 78$

 

→ 즉, $x_1, x_2, x_3$가 주어졌을 때 life-span을 알 수 있게 된다.

 

→ linear system은 matrix 행렬을 이용해서 표현할 수 있다.

 

※ 행렬 관련 포스팅 아래 참조 ※

Matrix

 

 

→ 이를 inverse matrix를 이용해 풀어보면

 

$Ax = b$

$A^{-1}Ax = A^{-1}b$

$I_nx = A^{-1}b$

$x = A^{-1}b$

 

→ 즉, 우리는 life-span = $-0.4x_1 + 20x_2 - 20x_3$로 나타낼 수 있다.

 

👐🏻 만약, 행렬 A가 non-invertible이라면(역행렬을 구할 수 없다면)?

→ 해가 없거나, 무수히 많은 경우

→ 위 예시로 든 linear system에서 m을 linear equation의 개수, n을 variable(독립 변수)의 개수라고 하면,

① m<n: variable이 더 많을 경우 주로 무수히 많은 해가 존재 (under-determined system)

(여러 해 중에 일부 해, 특히 종속변수에 더 큰 variation을 보이는 경우 regularization을 적용하는 등 여러 조치를 취할 수 있음)

② m>n: equation이 더 많을 경우 주로 해가 없음 (over-determined system)

 

👐🏻 Ax=b를 기하학적인 의미로 해석한다면, x가 나타내는 2차원의 점이 A를 통해서 b라는 점으로 이동한다는 것을 뜻한다. 즉, A 변환을 통해서 b로 이동한 점(x)을 찾는다.

(여기서 vector x와 b는 모두 2차원이고, 점으로 나타낼 수 있으며, A로 인한 linear transformation / 그 역의 transformation을 그림으로 나타내면 아래와 같다.)

Rank

👐🏻 행렬 A의 rank는 서로 선형독립인(linearly independent) A의 행의 갯수(또는 열의 갯수)를 뜻한다.

 

👐🏻 선형독립 - '어떠한 행(혹은 열)이 행렬의 다른 행(열)들의 선형 조합으로 표현이 안되는 경우'

ex)  아래의 행렬 A는 rank가 2 / B는 rank가 1

👐🏻 따라서, full-rank matrix는 nxn A 행렬에 대해서 모든 행이 서로 선형독립이거나 / 모든 열이 서로 선형독립인 matrix를 뜻하고, 이를 non-singular 행렬이라고도 하며, 역행렬이 존재함을 뜻한다.

 

👐🏻 그 반대로, full-rank matrix가 아니라면 singular 행렬이라 부르고, 역행렬이 없음을 뜻한다.

 

👐🏻 Rank는 numpy의 linalg.matrix_rank() 사용

A = np.array([[1, 2],
              [2, 5]])
              
np.linalg.matrix_rank(A) #2

B = np.array([[1, 2],
             [2, 4]])

np.linalg.matrix_rank(B) #1
np.linalg.inv(B) #LinAlgError: Singular matrix

* singular matrix

① 각 행이 서로 선형독립이 아님 (불능 - 만족하는 해가 하나도 없다.)

② 하나의 행이 다른 행의 scalar 배로 표현 (부정 - 만족하는 해가 무수히 많다.)

 

👐🏻 행렬식(determinant)가 0인 경우(ad-bc=0) 역행렬이 없다.

👐🏻 matrix의 행렬식은 |A|로 표현

 

ex) Ax=y에서

① $\cfrac{a}{c} ≠ \cfrac{y_1}{y_2}$이면 불능

② $\cfrac{a}{c} = \cfrac{y_1}{y_2}$이면 부정

 

👐🏻 불능의 기하학적 의미

→ Ax=y에서 A에 의해 y로 이동될 수 있는 vector x가 존재하지 않는다

 

👐🏻 부정의 기하학적 의미

→ Ax=y에서 A에 의해 y로 이동될 수 있는 vector x가 무수히 존재한다

(위 왼쪽 그림은 불능 / 오른쪽 그림은 부정)

det(A)

👐🏻 |det(A)| = |ad-bc|로, 행렬식의 절댓값은 행렬 A를 통해 단위공간을 얼마나 늘렸는지 / 줄였는지 (넓이배)를 의미한다

 

👐🏻 ex) 아래와 같은 linear transformation 가정하면,

→ 각 축 별로 1씩 이루어진 단위공간의 넓이가 1에서 변환 후 4로 커짐. 즉, 기존 공간에서 4배 커졌으므로 A의 행렬식은 넓이배

 

👐🏻 따라서 행렬식이 0인 경우는 넓이가 없는 한 점으로 변환되었으므로, 이는 역행렬이 없다는 것을 뜻함

 

👐🏻 numpy의 linalg.det() 사용

A
'''
array([[1, 2],
       [3, 4]])
'''

np.linalg.det(A) #-2.0000000000000004

B
'''
array([[1, 2],
       [2, 4]])
'''

np.linalg.det(B) #0.0

---

* python

1) column vector & row vector

👐🏻 column vector는 numpy의 array를 사용해 []안에 원하는 element를 여러 개 쓰면 되고, row vector는 []안에 [] bracket을 한 번 더 써서 행을 선언한 다음, 행 안에 원하는 원소를 삽입하면 된다.

 

→ column vector

import numpy as np

#column vector
c=np.array([1,2,3])
print(c.shape) #1-dimension array
#(3,)

#obtaining a particular entry
print(c[0])
#1

 

→ row vector

#row vector
r=np.array([[1,2,3]])
print(r.shape) #(1, 3)

#obtaining a particular entry
print(r[0,1]) #2

2) matrix

→ 다양한 형태의 matrix 만들기

#creating a matrix with all zeros
a=np.zeros((2,2))
print(a)
'''
[[0. 0.]
 [0. 0.]]
'''

#creating a matrix with all ones
b=np.ones((2,2))
print(b)
'''
[[1. 1.]
 [1. 1.]]
'''

#creating a matrix filled with the same constant
c=np.full((2,2),7)
print(c)
'''
[[7 7]
 [7 7]]
'''

#creating a matrix with random values
d=np.random.random((2,2))
print(d)
'''
[[0.61959397 0.13857043]
 [0.0815273  0.50410076]]
'''

 

👐🏻 전치행렬을 만들려면 A.T, 즉 뒤에 .T를 붙이면 되고, 행렬의 곱은 np.dot(A,B)를 사용하면 된다

(세 개 이상의 행렬도 np.dot() 안에 넣으면 된다)

※ 주의점: 행렬 곱 연산에서 np.dot()이 아니라, * 연산자를 써서는 안된다)

#creating a matrix
A=np.array([[1,2],[3,4],[5,6]])
'''
[[1 2]
 [3 4]
 [5 6]]
 '''
 
 #creating another matrix
B=np.array([[11,12,13,14],[15,16,17,18]])
'''
array([[11, 12, 13, 14],
       [15, 16, 17, 18]])
'''

#transpose a matrix
A.T
'''
array([[1, 3, 5],
       [2, 4, 6]])
'''

#matrix-matrix multiplication
np.dot(A,B)
'''
array([[ 41,  44,  47,  50],
       [ 93, 100, 107, 114],
       [145, 156, 167, 178]])
'''

 

→ 이 때, 당연히 행렬 곱 연산(AB)에서, A의 열과 B의 행 개수가 같아야 한다. (그렇지 않으면 오류)

#matrix-matrix multiplication
#size should match!
np.dot(B,A)
#ValueError: shapes (2,4) and (3,2) not aligned: 4 (dim 1) != 3 (dim 0)

3) linear system 예제 풀기

👐🏻 inv() 함수를 사용하면 주어진 행렬의 역행렬을 구할 수 있고, 앞서 언급한 행렬 곱 함수 dot()을 이용해 최종 해를 구할 수 있다.

#coefficient matrix A and a vector b
A=np.array([[60, 5.5, 1], [65, 5.0, 0], [55, 6.0, 1]])
b=np.array([66,70,78])

#identity matrix
eye3=np.eye(3)
'''
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])
'''

#computing an inverse
from numpy.linalg import inv
A_inv = inv(A)

#solution of a linear system
x=A_inv.dot(b)
x
#answer: array([ -0.43478261,  19.65217391, -16.        ])

 

👐🏻 빠른 방법으로, matrix A와 종속변수값이 나열된 열 벡터 b가 있을 때, 해집합을 구하는 solve라는 자체 함수를 지원해준다.

#a better way to solve the same linear system
from numpy.linalg import solve
x=solve(A,b)
x
#array([ -0.43478261,  19.65217391, -16.        ])

---

* 출처1) 인공지능을 위한 선형대수 (주재걸 교수)

* 출처2) 대학원 사전교육 <데이터분석을 위한 기초수학>