공대답게, 음악답게

https://wingnim.tistory.com/47

https://mylifemystudy.tistory.com/87

https://dacon.io/competitions/official/235591/codeshare/915?page=1&dtype=recent

dacon  강수량 산출 대회

https://www.quantumdl.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9D%EC%9D%84-%EC%9C%84%ED%95%9C-Atrous-Convolution%EA%B3%BC-UNet-%EA%B5%AC%EC%A1%B0-%EA%B0%84%EB%9E%B5%ED%95%9C-%EC%97%AD%EC%82%AC

object detection 관련 링크

https://bskyvision.com/465?category=615305

gausian mixture

= 쉽게 말해서 데이터 분포를 보았을때, 여러개의 정규분포가 존재한다고 판단하여

정규분포 여러개로 쪼개는 일을 한다.(평균,분산이 다른 여러 정규분포가 모여 하나의 분포처럼 보인다고 판단)

과대적합 방지를 위해 가장 널리 사용하는 방법

1. 훈련데이터를 더 모은다

2. 네트워크의 용량을 감소시킨다(파라미터량(weight의 갯수, 값 줄이기)

3. 가중치 규제를 추가한다.(L1,L2규제)

4. 드롭아웃을 추가한다.(Dropout(0.3))

보편적인 머신러닝 프로세스

1. 문제정의 및 데이터셋 수집

2. 성공지표선택

3. 평가방법선택

4. 데이터 준비

5. 기본보다 나은 모델 훈련하기

6. 몸집 키우기; 과대적합 모델 구축

7. 모델 규제와 하이퍼파라미터 튜닝

컴퓨터 비전 영역에서 사전 훈련된 컨브넷 사용하기(ex: VGG, ResNet 등)

사용할 수 있는 두가지 방법

1. 특성 추출(feature extraction)

2. 미세 조정(fine tuning)

로컬에 있는 데이터 가져오기!

train_generator = image_datagen.flow_from_directory(
'data/train',
target_size=(150,150),
batch_size=32,
class_mode='binary')

test_generator = image_datagen.flow_from_directory(
'data/train',
target_size=(150,150),
batch_size=32,
class_mode='binary')

DATA Augmentation / 데이터 부풀리기!

from keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(rotation_range=40,
                             width_shift_range=0.2,
                             height_shift_range=0.2,
                             rescale=1./255,
                             shear_range=0.2,
                             zoom_range=0.2,
                             horizontal_flip=True,
                             fill_mode='nearest')

왜 loss가 떨어지는데 accuracy가 줄어들지 않는가?

scaling

fit, transform

regression의 성능지표

classification의 성능지표

스팸메일 분류 / 세포 비 정상,정상 분류

K-fold Cross Validation

모델이 학습되고있는과정을 조금더 객관적으로 보기 위해서.

k값은 5나 10(5등분 또는 10등분)으로 나누는 것이 전문가들 사이에서 자주 쓴다.

cross-validiation 장점

1. 효율적인 데이터활용(모두 학습/평가에 활용)

2. 일반적인 정확도 측정 가능

단순히 지표값을 보는 것 뿐만 아니라, 데이터에 이상이 없는지도 측정을 할 수 있다.

train/test split 장점

1. K-fold cross-validation 보다 빠르다

2. 테스트 방법이 쉽다.

로이터 뉴스 분류

CNN이 생긴이유

이미지를 이미지로서 학습시킬려고(사람의 눈이 보는것 처럼)

이미지를 일열로 바꾸어버리면 공간적으로 무엇을 의미하는지 파악하기가 어렵다.(특징이 다 사라져버린다)

그래서 나온 것이 합성곱 신경망

이미지 자체의 특징을 잘 학습하기위해 2차원으로 학습하다가 다시 1차원으로(fully connect layer)로 펼쳐주고

마지막에 softmax를 해준다.

Maxpooling Layer - 이미지 특징만 추출, 이미지 사이즈 축소, 특징 일반화