개발일기

Python에서 PIL 라이브러리를 사용하여 이미지를 불러올 때, 이미지가 깨져있다면 image file is truncated (2 bytes not processed) 에러가 발생한다. 이 에러가 발생할 경우, ImageFile 관련 코드를 추가하면 해결 할 수 있다. from PIL import Image, ImageFile import matplotlib.pyplot as plt ImageFile.LOAD_TRUNCATED_IMAGES = True # image file is truncated (2 bytes not processed) 에러 발생시 위의 코드 추가 !wget https://i2.pickpik.com/photos/900/201/265/korea-seoul-jongno-city-pre..

손실 함수(Loss Function) 모델의 손실 함수는 출력 층에 따라 달라진다. 모델에 따라 올바른 손실 함수를 사용해야 정상적으로 훈련이 가능하다. Binary Classification(이진 분류): 두 가지를 분류하는 경우(이것이 망고인가 아닌가) Multi-Class Classification(다중 분류): 세 가지 이상을 분류하는 경우(이 과일이 무엇인가요? - 망고, 오렌지, 바나나, 사과, 멜론 등) 텐서 플로에서는 Binary Classification(이진 분류)를 위해 binary_crossentropy 손실 함수를 사용한다. Multi-Class Classification(다중 분류)의 경우는 categorical_crossentropy 또는 sparse_categorical_cr..

활성화(Activation) 함수 활성화 함수는 입력을 비선형 형태로 변환하여 출력해주는 함수이다. 선형 함수는 직선으로 간단하게 y=ax+b로 편할 수 있다. 층을 계속 쌓아도 y=ax+b로 다시 변환이 가능하기에 여러 은닉층을 쌓는 이점이 사라진다. 물론 선형 함수를 활성화 함수로 사용할 수 있지만 은닉층을 여러개 늘려갈 수 있는 비선형 함수와 다르게 층을 여러개 확장해도 결국엔 첫 번째 층으로 귀속되는 속성을 가진다. Sigmoid 출력 값의 범위가 0~1인 함수이다. 입력 값의 절대 값이 커질 수록 출력 값은 1 또는 0에 수렴하며 기울기는 0에 가까워진다. 정규화가 가능하며 기울기가 자연스레 수렴하는 장점을 가지며 0또는 1로 분류하는 모델에 적합하다. 하지만 일정 값을 넘어가면 기울기 변화 없..

이진 분류 평가 지표 Confusion Matrix 모델 학습을 평가하는 지표로 Confusion Matrix라 불리는 오차 행렬을 기반으로 각 평가 지표를 4가지의 경우로 나눌 수 있다. Prediction A B Actual A TP FN B FP TN True, False: 예측의 정답 여부를 나타낸다. Positive, Negative: 예측한 값의 True, False 여부를 나타낸다. TP: Prositive로 예측하고 실제로 Postitive 경우(정답) FP: Prositive로 예측했으나 실제는 Negative인 경우(오답) FN: Negative로 예측했으나 실제는 Positive인 경우(오답) TN: Negative로 예측하고 실제로 Negative인 경우(정답) 정확도(Accurac..

numpy란? numpy는 벡터, 행렬 등의 다차원 배열을 계산하며 각종 다양한 수학 계산을 지원하는 파이썬 라이브러리다. ndarray 배열 생성 파이썬의 리스트와 다르게 numpy에서는 ndarray 객체 배열을 생성한다. ndarray객체 배열을 만드려면 np.array(…)를 사용한다. import numpy as np # 일반적으로 np로 모듈 이름을 변경하여 사용한다. python_list = [1, 2, 3] # python list np_list = np.array([1, 2, 3]) # numpy list print(type(python_list), type(np_list)) # ndarray는 기존 파이썬 list와 다르게 배열 안의 데이터들이 같은 데이터 타입을 가진다. import ..

Matplotlib matplotlib은 데이터를 선, 막대, 원형 그래프 등의 모양으로 시각화할 수 있게하는 파이썬 라이브러리다. 1. matplotlib의 기본 파라미터 및 그래프 출력 figure() : 그림 객체를 생성하기 위해 사용하는 함수이다. 그림을 그릴때 자동적으로 호출해주지만 여러개의 그림을 동시에 그리거나 각각의 그림에 크기, 해상도 등을 다르게 구성하고 싶을 때는, figure()를 사용하여 각각의 그림 객체를 생성해야한다. figure에 매개변수들을 추가하여 그래프의 모습을 변경할 수 있다. num: 그래프의 인덱스 번호를 지정 figsize: 그래프의 가로 세로 크기를 지정(단위는 인치) facecolor: 그래프 바깥의 배경색을 지정(기본은 흰색) dpi: 해상도(기본 100dp..

0. Pydantic Model이란? Pydantic Model을 통하여 클래스 모델에 속해있는 값들에 적합한 자료형을 코드에 선언하고 자료형을 검증하는 것을 도와준다. 선언한 자료형과 일치하는 않는 자료형을 가진 값이 대입되는 경우, 데이터 유효성 오류가 발생한다. ( Validation Error ) 1. Pydantic 설치 from pydantic import BaseModel # python코드 상단에 pydantic의 BaseModel을 import한다. Python 3.6버전 이상부터는 pydantic을 설치하지 않고 import만 하여도 사용가능하다. 그 이하 버전일 경우, pydantic을 pip을 통해 설치를 한 후, 사용할 수 있다. pip install pydantic 2. Pyda..

1. Redis 의존성 설치 pip3 install redis # 패키지 매니저 pip을 통해 redis관련 패키지 의존성 설치 pip을 통해 redis 의존성을 추가했다고 해서, OS에 레디스 서버가 설치되는 것과는 별개이다. AWS RDS와 같은 외부 서버에 설치되어 있는 레디스 서버에 접속하려는 경우에는 의존성 추가만으로도 충분하지만, 만약 로컬에 설치되어 있는 레디스 서버에 접속하려는 경우에는 추가적으로 레디스 서버의 설치가 필요하다. https://phsun102.tistory.com/51 CentOS에 Redis설치 ( wget 활용 ) 0. 기본 설정 다운로드 폴더를 생성 후, 해당 폴더로 이동 mkdir /downloads cd /downloads 1. Redis 파일 다운로드 Redis ..