Deep learning 1일차

인공신경망을 통해서 주변의 입력값이 들어오게 된다.

입력값을 신경망에서 처리해서 출력값에 넘겨주면, 그것이 인공신경망이다.

 

머신러닝 vs 딥러닝

 

뭐가 더 좋나요?

딥러닝의 특징

1. 데이터와 성능

데이터의 양이 늘어날수록 딥러닝의 성능이 좋아진다.

 

비정형데이터의 경우, 전통적인 머신러닝으로는 좋은 결과를 내기가 어렵다.

2. 하드웨어

고성능의 하드웨어가 있어야 딥러닝이 학습하는데 시간이 덜걸린다(학습이 오래걸림)

 

3. 학습시간

딥러닝의 학습시간은 훨씬 더 오래걸림

 

4. 특징

(feature engineering)은 정형데이터가 있으면 쉽게 합니다.

 

딥러닝은 feature extraction이 학습과 동시에 일어난다.

가중치를 스스로 학습해준다.

(이미지)

 

딥러닝 - 이미지,자연어처리,가격예측,신약개발질병진단,음성인식,로봇자율주행

모두 딥러닝이 있었기에 가능한 분야이다.

 

 

Peceptron이 기본!!

AND,OR,XOR문제 풀기!

threshhold가 0.5라고할때, 

x1	x2	y
0	0	0
0	1	0
1	0	0
1	1	1

다음과 같은 문제를 답할때,

perceptron은 w1*x1 + w2*x2 = y를 답할려면 어떻게 해야할까?

w1 <0.5, w2 <0.5인 모든 가중치면 된다.

 

OR

 

 

 

XOR은

형태로 사용하면 답을 구할 수 있다.

 

 

weight initialization = weight를 랜덤으로 초기화한다(처음에)

Forward Propagation = input에서 output 방향으로 계산하는 과정

Back Propagation = weight값을 수정하는 작업(끝난 곳의 가까운부분부터 수정해 나가는 과정)

Cost Function 예측값과 실제 값의 차이를 기반으로 모델의 정확도(성능)을 판단하기 위한 함수

 

Gradient Descent = cost F의 최저점을 찾아가는 방법.

optimizer = 최저점을 어떻게 찾아갈꺼냐?

 

adagrad, adadelta는 학습속도를 알아서 조절하게 된다(초반에 빠르게)

일반적으로 요새는 adam optimizer를 가장 많이 쓴다.(learning rate를 알아서 조절해준다)

 

---

Vanishing Gradient

딥러닝을 공부하게되면 꼭 만나게 되는 단어. 

 

매 레이어마다 sigmoid func를 하게된다.

하지만, layer가 딥해질수록(많아질수록) data의 feature가 희미해진다.(특징이 희미해진다)

 

그래서 과거에는 Deeplearning을 할 수 없었다.

그래서 나온것이 relu function ! 

backpropogation을 하더라도 vanishing 문제가 없다!!

tanh, leakey relu, elu등등도 있다.

 

layer마다? node마다 activation function 있어야 되는거 아닌가?

overfitting 

 

 

L1/L2 규제 => 주로 L2를 많이 사용한다.

dropout => overfitting방지

 

keras(뿔)

우리가 만든 모델이 진실을 말해주길....

 

 

 

Network - Cost Function - Optimization

 

---

CLOUD 개념

 

Resource 서비스하는 단위 하나하나를 resource라고 한다.

스토리지, 웹서비스,앱서비스, 머신러닝, 하둡, 가상환경 등등의 하나하나를 resource라고 통칭한다.

 

Resource의 Region 지역선정(서버, 데이터센터 위치)

---

Resource Group

안에 여러개의 resource가 들어가 있다.

필요한 이유: 서비스를만드는데, 스토리지도 필요, sql도 필요, 머신러닝도필요, func도 필요...

나중에 관리하기가 어렵다(각각 되어있으면)

따라서 그룹으로 관리한다.

내가 사용할 관련 기능들을 묶어주는 그룹이라고 생각하면 된다.

Resource Group의 Region

그룹의 묶음만 해주는데도 (그룹안에 어떤 리소스가 있는지, 버전은 어떤지 등의 메타데이터를 저장하는 곳)