과대적합 방지를 위해 가장 널리 사용하는 방법
1. 훈련데이터를 더 모은다
2. 네트워크의 용량을 감소시킨다(파라미터량(weight의 갯수, 값 줄이기)
3. 가중치 규제를 추가한다.(L1,L2규제)
4. 드롭아웃을 추가한다.(Dropout(0.3))
보편적인 머신러닝 프로세스
1. 문제정의 및 데이터셋 수집
2. 성공지표선택
3. 평가방법선택
4. 데이터 준비
5. 기본보다 나은 모델 훈련하기
6. 몸집 키우기; 과대적합 모델 구축
7. 모델 규제와 하이퍼파라미터 튜닝
컴퓨터 비전 영역에서 사전 훈련된 컨브넷 사용하기(ex: VGG, ResNet 등)
사용할 수 있는 두가지 방법
1. 특성 추출(feature extraction)
2. 미세 조정(fine tuning)