개발일기

편미분(Partial Derivative)에 대한 정의지금껏 봐온 함수는 $ \frac{\mathrm{d} y}{\mathrm{d} x} = x^2 - 3x + 6 $ 와 같이 $ x $ 라는 변수 하나로 y의 미분값이 결정되는 일변수 함수였다. 하지만 머신 러닝에서 주로 사용되는 함수는 다변수 함수이다. 다변수 함수는 $ z = x^2y^2 + 7xy - 3x + 6 $와 같이 여러 개의 독립 변수를 가지고 있는 함수를 의미한다. 이와같이 $ x $, $ y $ 라는 여러 개의 독립 변수를 가진 다변수 함수를 미분하기 위해 편미분을 사용한다. 3D그래프로 확인하기$ z = x^2 - y^2 $ 라는 다변수 함수는 $ x $, $ y $라는 변수를 가지고 있으며 이 변수들은 결과값 z에 영향을 주는 변수..

자동 미분(Auto Differentiation)자동 미분은 함수의 미분을 자동으로 계산하는 기법을 의미한다. 쉽게 말하면 Tensorflow, Pytorch와 같이 머신러닝 라이브러리를 통해 함수의 기울기(미분값)을 계산하는것을 의미한다. 자동 미분은 $ \displaystyle \lim_{ x\to 0}\frac{f(x+h) - f(x)}{h} $ 와 같이 미세한 차이를 바탕으로 미분값을 추정하는 수치 미분보다 정확하며 복잡한 함수에서도 편리하게 미분값을 계산할 수 있다.수치 미분: 순방향으로 계산이 이루어진다. 입력 변수의 변화량을 바탕으로 출력값을 계산해 나간다.자동 미분: 수치 미분과 반대로 역방향으로 계산이 이루어진다. 순방향과는 반대의 개념으로 출력값을 바탕으로 입력 변수의 변화량을 계산해 ..

도함수는 주로 $ \frac{\mathrm{d} y}{\mathrm{d} x} $ 와 같이 표기한다. 이 의미는 y함수가 x변수에 대해 어떻게 변하는지를 의미한다. 즉 y함수는 x변수의 값에 따라 도함수의 값이 달라진다. 상수의 미분 법칙(Derivative of a constant)c는 변수가 아닌 상수라는 가정하에 도함수를 구하면 도함수는 0이 된다. $ \frac{d}{dx}c = 0 $ 라고 식으로 표현할 수 있으며 저 c에는 상수 아무거나 들어갈 수 있다. $ \frac{d}{dx}5 = 0 $ 5가 들어가도 도함수는 0이 되고 $ \frac{d}{dx}10 = 0 $ 10이 들어가도 도함수는 0이 된다. 제곱의 법칙(The Power rule)제곱 법칙은 $ \frac{\mathrm{d} }{..