Matrix (fundamentals)

 

🌻 사실 이거 다룰려고 Scalar & Vector 배운 거라 할 정도로 행렬은.. 선형대수학의 꽃! 🌻

Scalar & Vector (fundamentals)

1. intro

"행렬이란 → 행과 열을 통해 배치되어 있는 숫자들"

 

→ matrix를 표현하는 변수는 일반적으로 대문자

→ 행렬은 vector의 모음으로도 말할 수 있음 (주로 default로 column vector를 기준으로 함)

→ 즉, dataframe에 적용하면 한 column을 vector, 그리고 여러 column들을 모은 일종의 dataframe을 행렬이라 말할 수도 있음

→ $X_{ij}$는 행렬 X의 i번째 열과 j번째 행이 만나는 곳의 원소를 뜻한다

 

→ numpy를 사용해 2차원 배열로 표현 가능하다. 아래 matrix A는 2개의 행 vector를 하나의 array안에 담아 행렬로 표현했다.

(파이썬 numpy에서는 여러 행 vector를 [] 안에 넣어두고 나열해서 행렬로 만듦)

import numpy as np

A = np.array([[1, 2],
              [3, 4]])

A
'''
array([[1, 2],
       [3, 4]])
'''

A.shape #(2,2)

#1st column vector
A[:, 0] 
#array([1, 3])

#2nd column vector
A[:, 1]
#array([2, 4])

#1st row vector
A[0, :]
#array([1, 2])

#2nd row vector
A[1, :]
#array([3, 4])

* 행렬의 일치 / 전치

① 행렬의 일치

→ matrix dimensionality) matrix의 행과 열의 숫자(차원) (vector dimensionality는 vector element의 개수)

→ matrix dimensonality는 (행-열)로 표현

 

→ 행렬의 일치 2가지 조건

(1) 조건1) 두 matrix가 차원이 서로 동일 (ex (2,3) != (3,2))

(2) 조건2) 각 matrix 구성 component가 동일

 

② 행렬의 전치 (transpose)

= "matrix의 행과 열을 바꾸는것"

→ 일반적으로 matrix 우측 상단에 T 또는 tick 마크를 표기한다 ($X^T = (x_{ji})$)

→ 읽는 방법은 B transpose or B prime

 

→ 일반적으로 n차원의 vector는 주로 열벡터(column vector)를 지칭할 때 많이 쓰이고, 행벡터(row vector)는 열벡터의 transpose 형태로 많이 쓰인다. (아래 그림 참조)

* 연산

① 행렬과 스칼라의 연산 (broadcasting)

→ 기존 행렬을 A라고 하면 A+1은 A의 모든 요소에 1이 더해진 결과의 행렬이 나온다.

 

→ A*3은 A의 모든 요소에 3이 곱해진 결과의 행렬이 나온다.

 

A+1
'''
array([[2, 3],
       [4, 5]])
'''

A*3
'''
array([[ 3,  6],
       [ 9, 12]])
'''

---

② 행렬과 행렬의 곱 - matrix multiplication

 

→ 위 그림에서 알 수 있듯이, A의 열의 개수(column vector의 개수)와 B의 행의 개수(row vector의 개수)가 같아야만 multiplication 진행 가능

 

→ not commutative - 교환법칙이 성립하지 않는다 AB≠BA

→ distributive -  분배법칙 성립 A(B+C) = AB + AC (Distributive)

→ associative - 결합법칙 성립 A(BC) = (AB)C (Associative)

 

→ multiplication 결과 한 스칼라 값이 나온다면 내적, 더 사이즈가 커진 matrix가 나온다면 외적

B = np.array([[1,2,3],
             [4,5,6]])

np.dot(A, B) # A X B

'''
array([[ 9, 12, 15],
       [19, 26, 33]])
'''

np.dot(B,A) #ValueError: shapes (2,3) and (2,2) not aligned: 3 (dim 1) != 2 (dim 0)

---

③ 행렬과 행렬의 합 (element-wise)

→ 위 그림과 같이 행렬끼리 같은 shape을 가지면, 행렬 간의 덧셈과 뺄셈 연산 가능

C = np.array([[2, 2],
              [4, 4]])
A+C
'''
array([[3, 4],
       [7, 8]])
'''

A+B #ValueError: operands could not be broadcast together with shapes (2,2) (2,3)

---

④ 행렬과 벡터의 곱

 

→ 행렬과 행렬의 곱과 마찬가지로 element-wise 진행

# v - column vector
v = np.array([[1],
              [2]])

np.dot(A,v)
'''
array([[ 5],
       [11]])
'''

A
'''
array([[1, 2],
       [3, 4]])
'''

 

※ 행렬과 벡터 곱의 기하학적 의미 ※

 

🏆 column vector는 공간상의 한 점으로 볼 수 있고, 여러 column vector가 모인 matrix에 의해 column vector 한 점이 다른 새로운 column vector로 변환

 

🏆 즉, 행렬과 벡터 곱에서의 matrix는 공간상의 한 점을 다른 점으로 이동시키는 역할을 한다고 할 수 있으며, 이를 'linear transformation(선형변환)'이라고 한다.

 

🏆 Linear Transformation 두 가지 성질

→ T(u+v) = T(u) + T(v)

→ T(av) = aT(v) (a는 scalar)

 

ex1) 아래 행렬 A에 의해 column vector [1, 2]가 [5, 11]이라는 다른 점으로 이동했다.

 

ex2) m차원의 column vector를 linear transformation을 활용해 차원이 다른 n차원의 공간으로 이동시킬 수도 있다. 

 

v=np.array([[1],
  [1],
  [1]])

A=np.array([[1,0,1],
  [0,1,0],
  [0,1,1],
  [1,1,0]])

print(np.dot(A,v))
'''
[[2]
 [1]
 [2]
 [2]]
'''

 

→ 위 코드 예시에서 column vector의 차원은 3이었으나, A에 의해 linear transformation 과정으로 거쳐 4차원 공간으로 이동했다.

→ 즉, matrix multiplication을 통해 m차원 공간에 존재하는 기존 vector를 다른 차원인 n차원 공간으로 보낼 수 있다(mapping)

→ 따라서, matrix multipllication을 통해 패턴을 추출할 수도 있고, 데이터를 압축할 수도 있다. (기계학습에서 행렬을 많이 사용)

---

⑤ 행렬과 벡터의 합 (broadcasting)

A+v
'''
array([[2, 3],
       [5, 6]])
'''

---

(※ 그림 참조 ※)

---

2. 행렬의 종류

* 대각행렬(diagonal matrix)

🏆 정의 →  '대각선 위에 있는 원소 이외의 다른 원소의 값이 모두 0인 행렬'

(주로 정사각행렬에서 지칭하나, 정사각행렬이 아닌 경우에도 존재 - 아래 그림 참조)

 

🏆 대각행렬의 성질로, 동일 대각행렬을 여러 번 곱하면, 대각성분의 값을 동일하게 여러 번 곱한 결과가 대각선 성분으로 나타난다.

🏆 대각행렬과 벡터의 곱 - 대각행렬의 대각성분이 일종의 scalar 형태로 vector의 element에 곱해지는 형태로 나타남

D = np.array([[1,0],
             [0,4]])
np.dot(D,D)
'''
array([[ 1,  0],
       [ 0, 16]])
'''

* 상삼각행렬(upper triangular matrix)

🏆 정의 → '대각선 위쪽 부분(+대각선 성분 포함)에만 값이 있고 나머지는 전부 0인 행렬'

* 하삼각행렬(lower triangular matrix)

🏆 정의 → '대각선 아래쪽 부분(+대각선 성분 포함)에만 값이 있고 나머지는 전부 0인 행렬'

 

* 단위행렬(unit matrix; identity matrix)

🏆 정의 →  '대각성분이 모두 1인 대각행렬' (위 대각행렬의 대각성분이 모두 1이면 된다)

 

🏆 단위행렬과 벡터의 곱 - 아래 그림을 보면 기존 vector가 변하지 않게 되므로, 단위행렬에 의해 행해지는 변환은 벡터를 움직이지 않는 변환이라 할 수 있다.

I = np.eye(2)

I
'''
array([[1., 0.],
       [0., 1.]])
'''

np.dot(I, A)
'''
array([[1., 2.],
       [3., 4.]])
'''

* 전치행렬(transposed matrix)

🏆 정의 →  '행과 열이 바뀐 행렬'

 

🏆 기존 행렬의 행이 새로운 행렬의 열이 되고, 열이 행이 되는 것으로 A행렬의 전치행렬은 $A^T$로 표현 가능하다

 

🏆 전치행렬 관련 성질

① $(A^T)^T = A$

② $(A+B)^T = A^T + B^T$

③ $(kA)^T = kA^T$

④ $(AB)^T = B^TA^T$

ex) $(A+BC)^T = A^T + (BC)^T = A^T + A^T + C^TB^T$

A
'''
array([[1, 2],
       [3, 4]])
'''

A.T
'''
array([[1, 3],
       [2, 4]])
'''

* 대칭행렬(symmetric matrix)

🏆 정의 →  '대각선을 기준으로 위와 아래가 같은 행렬'

🏆 대칭행렬 관련 성질

$$A = A^T$$

* 역행렬(inverse matrix)

🏆 $A$의 역행렬은 $A^{-1}$로 표현

 

🏆 $AA^{-1} = A^{-1}A = I_n$

 

ex) 2x2 행렬의 역행렬 구하기

※ 역행렬의 기하학적 의미 ※

 

🏆 A의 역행렬은 'A에 의해서(linear transformation) 옮겨진 점을 다시 원래의 점으로 옮기는 일종의 변환'을 뜻한다.

🏆 연립방정식에서는 역행렬이 존재한다는 건, 유일한 해가 존재한다는 뜻 (역행렬이 원래의 점으로 옮기는 변환이므로, 그 변환이 존재한다는 건 도착점인 해가 존재한다는 것을 뜻하므로)

🏆 행렬 A의 역행렬은 np.linalg.inv()를 사용한다.

A = np.array([[1, 2],
              [2, 5]])

A_inv = np.linalg.inv(A)

A_inv
'''
array([[ 5., -2.],
       [-2.,  1.]])
'''

np.dot(A, A_inv)
'''
array([[1., 0.],
       [0., 1.]])
'''

np.linalg.det(A) #1

 

🏆 A와 변환 후의 vector y가 주어지면 역행렬을 사용해 변환 전 vector를 구할 수 있다.

y = np.array([1,2])

np.dot(A_inv,y) #array([1., 0.])

---

* 추가

🏆 matrix를 python에서 표현하려면 2D numpy array로 표현해야 한다. 따라서, 1D numpy array가 주어지면, reshape method를 사용해서 실제 matrix로 변환할 수 있다.

 

① 1D numpy array를 row vector로 변환하려면 array_1D.reshape(1, -1)

☆ ② 1D numpy array를 column vector로 변환하려면 array_1D.reshape(-1,1)

 

x = np.arange(10)

x.reshape(1,-1)
#array([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]])

x.reshape(-1,1)
'''
array([[0],
       [1],
       [2],
       [3],
       [4],
       [5],
       [6],
       [7],
       [8],
       [9]])
'''

---

* 출처1) matrix multiplication> https://en.wikipedia.org/wiki/Matrix_multiplication

* 출처2) 1d - 2d np array 변환 https://roundhere.tistory.com/entry/Python-Numpy-%EB%8B%A8%ED%8E%B8-1D-array%EB%A5%BC-2D-array%EC%9D%98-vector%EB%A1%9C-%EB%B3%80%ED%99%98

* 출처3) 네이버 AI-Tech pre-course 강좌

* 출처4) edtih boostcourse <인공지능을 위한 선형대수> 강좌

* 출처5) gilbert strang's MIT + khan academy 선형대수학

* 출처6) 대학원 DA 사전교육 <데이터분석을 위한 기초수학>