개발일기

손실 함수(Loss Function) 모델의 손실 함수는 출력 층에 따라 달라진다. 모델에 따라 올바른 손실 함수를 사용해야 정상적으로 훈련이 가능하다. Binary Classification(이진 분류): 두 가지를 분류하는 경우(이것이 망고인가 아닌가) Multi-Class Classification(다중 분류): 세 가지 이상을 분류하는 경우(이 과일이 무엇인가요? - 망고, 오렌지, 바나나, 사과, 멜론 등) 텐서 플로에서는 Binary Classification(이진 분류)를 위해 binary_crossentropy 손실 함수를 사용한다. Multi-Class Classification(다중 분류)의 경우는 categorical_crossentropy 또는 sparse_categorical_cr..

활성화(Activation) 함수 활성화 함수는 입력을 비선형 형태로 변환하여 출력해주는 함수이다. 선형 함수는 직선으로 간단하게 y=ax+b로 편할 수 있다. 층을 계속 쌓아도 y=ax+b로 다시 변환이 가능하기에 여러 은닉층을 쌓는 이점이 사라진다. 물론 선형 함수를 활성화 함수로 사용할 수 있지만 은닉층을 여러개 늘려갈 수 있는 비선형 함수와 다르게 층을 여러개 확장해도 결국엔 첫 번째 층으로 귀속되는 속성을 가진다. Sigmoid 출력 값의 범위가 0~1인 함수이다. 입력 값의 절대 값이 커질 수록 출력 값은 1 또는 0에 수렴하며 기울기는 0에 가까워진다. 정규화가 가능하며 기울기가 자연스레 수렴하는 장점을 가지며 0또는 1로 분류하는 모델에 적합하다. 하지만 일정 값을 넘어가면 기울기 변화 없..

이진 분류 평가 지표 Confusion Matrix 모델 학습을 평가하는 지표로 Confusion Matrix라 불리는 오차 행렬을 기반으로 각 평가 지표를 4가지의 경우로 나눌 수 있다. Prediction A B Actual A TP FN B FP TN True, False: 예측의 정답 여부를 나타낸다. Positive, Negative: 예측한 값의 True, False 여부를 나타낸다. TP: Prositive로 예측하고 실제로 Postitive 경우(정답) FP: Prositive로 예측했으나 실제는 Negative인 경우(오답) FN: Negative로 예측했으나 실제는 Positive인 경우(오답) TN: Negative로 예측하고 실제로 Negative인 경우(정답) 정확도(Accurac..