기초 수학 - Moore Penrose Pseudo Inverse 유사 역행렬

Moore Penrose Pseudo Inverse - 유사 역행렬

역행렬은 행렬이 정방 행렬인 경우에만 구할 수 있다는 한계를 가지고 있다. 정방 행렬이 아닌 역행렬이 불가능한 특이 행렬에서도 역행렬과 유사한 행렬을 구해 미지수의 해를 구할 수 있다. 이를 Moore-Penrose Pseudo Inverse라고 한다. 쉽게 말하면 유사 역행렬이라 칭한다. 열보다 행이 큰 $ n_{row} > n_{col} $는 과결정오류(Overdetermined)라 하고 행보다 열이 큰 $ n_{col} > n_{row} $ 는 불충분오류(Underdetermined)라 한다.

import numpy as np
import matplotlib.pyplot as plt

# No Solutions
a1 = b1 = 2
a2 = b2 = 4
x = np.linspace(-6, 6, 10)
y1 = a1 * x + b1
y2 = a1 * x + b2

plt.plot(y1)
plt.plot(y2)
plt.title("No Solutions")
plt.show() # No Soluitons Plot

# Infinite Solutions
a1 = b1 = a2 = b2 = 2
x = np.linspace(-6, 6 , 10)
y1 = a1 * x + b1
y2 = a1 * x + b2
plt.plot(y1)
plt.plot(y2)
plt.title("Infinite Solutions")
plt.show() # Infinite Solutions Plot

# Overdetermined
A = np.array([[2, 1, 5], [0, 1, -1]]) # (2, 3): 2행 3열
plt.plot(A)
plt.title("Overdetermined")
plt.show() # Overdetermined Plot

# Underdetermined
A = np.array([[1], [4]]) # (2, 1): 2행 1열
plt.plot(A)
plt.title("Underdetermined")
plt.show() # Underdetermined Plot

No Solutions

Infinite Solutions

Overdetermined

Underdetermined

 

파이썬 코드로 구현된 4개의 특이 행렬은 기존에 알던 방식으로는 역행렬을 구할 수 없다. 하지만 유사 역행렬을 통해 값을 구할 수 있다. 이를 통해 해가 존재하지 않지만 가장 비슷한 값을 가진 해를 구해낼 수 있다.

유사 역행렬 공식은 $ A^{+} = VD^{+}U^{T} $이다. 윗첨자 +는 역행렬을 의미하는 기호다. 원래 역행렬은 윗첨자 -1을 사용하지만 유사 역행렬과 혼동을 피하기 위해 +를 사용한다. 파이썬 코드를 통해 이 공식을 증명해보자

 

Pseudo Inverse 증명

# Pseudo Inverse 증명
import numpy as np

A = np.array([[1, 4, 1], [-4, -7, 1]])

U, D, VT = np.linalg.svd(A)

V = VT.T # V 전치의 전치
UT = U.T # U를 전치
D = np.diag(D) # D를 대각 행렬화
D_plus = np.concatenate( (np.linalg.inv(D), np.array([[0, 0]])), axis=0 ) # D의 역행렬

p_inv = V @ D_plus @ UT # 유사 역행렬
print("Pseudo Inverse: \\n", p_inv) # 결과

"""
Pseudo Inverse: 
 [[-0.25550661 -0.18061674]
 [ 0.20704846 -0.00881057]
 [ 0.42731278  0.21585903]]
"""

svd를 통해 U, D, $ V^{T} $ 를 구해 유사 역행렬을 증명하는데 사용한다.

$ V $: $ V^{T} $를 전치하여 구한다.

$ D^{+} $: D를 대각 행렬로 만든 후, $ U^{T} $ 와 내적하기 위해 0으로 이뤄진 행렬을 결합한다.

$ U^{T} $: U를 전치하여 구한다.

$ V $, $ D^{T} $, $ U^{T} $를 구한 후 내적하면 유사 역행렬 값이 나온다. 이 값이 올바른지 확인하기 위해 numpy에서 제공하는 np.linalg.pinv() 함수를 사용한다.

 

Numpy Pseudo Inverse

# Numpy Moore-Penrose Pseudo Inverse
import numpy as np

A = np.array([[1, 4, 1], [-4, -7, 1]])

p_inv = np.linalg.pinv(A)
print("Pseudo Inverse: \\n", p_inv) # 결과

"""
Pseudo Inverse: 
 [[-0.25550661 -0.18061674]
 [ 0.20704846 -0.00881057]
 [ 0.42731278  0.21585903]]
"""

이 함수는 numpy에서 제공하는 유사 역행렬을 계산하는 함수이며 유사 역행렬이 동일하게 나온 것을 확인할 수 있다.

 

Pytorch Pseudo Inverse

# Pytorch Pseudo Inverse
import torch

A = torch.tensor([[1, 4, 1], [-4, -7, 1]], dtype = torch.float64)
p_inv = torch.pinverse(A)

print("Pseudo Inverse: \\n", p_inv) # 결과

"""
Pseudo Inverse: 
 tensor([[-0.2555, -0.1806],
        [ 0.2070, -0.0088],
        [ 0.4273,  0.2159]], dtype=torch.float64)
"""

Pytorch에서는 pinverse()함수로 유사 역행렬을 구할 수 있다.

 

Tensorflow Pseudo Inverse

# Tensorflow Pseudo Inverse
import tensorflow as tf

A = tf.Variable([[1, 4, 1], [-4, -7, 1]], dtype = tf.float64)
p_inv = tf.linalg.pinv(A)

print("Pseudo Inverse: \\n", p_inv) # 결과

"""
Pseudo Inverse: 
 tf.Tensor(
[[-0.25550661 -0.18061674]
 [ 0.20704846 -0.00881057]
 [ 0.42731278  0.21585903]], shape=(3, 2), dtype=float64)
"""

Tensorflow에서는 linalg.pinv()함수로 유사 역행렬을 구할 수 있다.

---

참고 사이트:

https://www.tutorialspoint.com/compute-the-moore-penrose-pseudoinverse-of-a-matrix-in-python

Compute the Moore-Penrose pseudoinverse of a matrix in Python

 

https://mathworld.wolfram.com/Moore-PenroseMatrixInverse.html

Wolfram MathWorld: The Web's Most Extensive Mathematics Resource

 

https://www.youtube.com/watch?v=vXk-o3PVUdU

 

https://colab.research.google.com/drive/16uA8gyk3AydS3fXTosHulWb-iH4hn_i1?usp=sharing

무어 펜로즈 역행렬(.ipynb