딥러닝 2일차

DNN 기본 용어

Perceptron

MLP

Weight Initalization

Forward

Backward

Optimization

Cost Function

 

 

vanishing gradient = layer가 깊어질수록 앞쪽의 weight는 sigmoid 함수를 자주 통과하기 때문에 역전파를 할시, 그 값이 희미해진다.?

 

input_dim = feature 개수

출력층의 actvation = Linear, Sigmoid, Softmax 각각 어떤 예측이냐에 따라 결정.

 

Validation Set은 모델이 Train 하는 학습과정에는 관여하지 않는다.

언제 오버피팅이 일어나는지. hyperparameter를 어떤 걸 조정해야할지

모른다.

하지만, Testset은 모델 학습이 끝난 후 확인만 가능한 것이고 학습에는 관여하지 않는다.

 

데이터를 나누는 것의 중요성!!!!!!!!!!!!!!!!!

 

overfitting

 

Dropout

 

LASSO , L1 Regularization

Ridge, L2 Regularization

 

모델을 단순하게 만들수록 복잡도가 줄어들어서

오버피팅을 방지 할 수 있다.

1. 가중치 개수를 줄이자(노드줄이기, 레이어 줄이기)

2. 가중치의 값 자체를 줄인다.(커질수록 복잡도가 커진다.)

(우리가 다루는 딥러닝에서는 차원자체가 높기 때문에)

 

from keras import regularizer

kernel_regularizer, activity_regularizer, bias_regularizer

 

overfitting은 모델의 복잡도와 관계가 있다.

모델은 간단할수록 좋아.

 

---

 

loss vs accuracy

모델을 학습할때, 실생활에서 쓸때

모델의 성능평가, 인간이 모델을 평가

 

standard scaler

min-max scaler 최솟값0,최댓값1로 맞춰준다.

 

robust scale은 중앙값으로 처리하기 때문에 이상치의 값이 너무 크거나 작은값들의 영향을 받지 않을 수 있다.

 

 

---

지표

 

regression : MAE, RMSE, MSE, R^2

 

mse는 각각의 상황에 따라 값이 다르게 나오기 때문에 mae를 보는 경우가 많다.(outlier에 영향을 크게 받는다.)

 

R^2가 음수가 나오면 방향성이 반대라서라고 생각하자.

 

분류 성과 지표

 

스팸메일분류:

스팸이 아닌데 스팸이라고 하면 괜찮나? 안괜찮아!! 중요 메일이 스팸함으로 가서 못보면 어떡해!==>precision 높아야된다!!

스팸인데 스팸이 아니라고하면 괜찮나? 그래도 뭐,, 괜찮아 recall은 덜 중요한거 같아

 

코로나 양/음성 판정:

코로나 확진자가 아닌데 확진자라고하면 괜찮나? 그래도 뭐,, 괜찮아 precision은 덜 중요한거같아

코로나 확진자인데 확진자가 아니라고하면 괜찮나? 그럼 큰일나!! 확진자가 활보하고 다니자나 그럼!! recall 겁나 중요해!!