LSTM

LSTM

 

RNN과 다른점은,, Cell State부문에서는 weight조정이 없음으로 Gradient 문제가 없다?

 

 

input gate

forget gate

output gate

Gate gate(?)00

 

계속 흐르는 것을 얼마나 잊어버릴까 ( 0~1을 갖는다)

i = input gate, 넣을꺼냐 말꺼냐

그럼 i 랑 f는 역관계다?

 

gate g는 얼마나 넣을거냐

 

그럼 f i g를 통해서 cell state가 생성이 되고, 생성이 된 값은 hidden state에 tanh를 곱하여 값이 들어간다.

 

BERT, Transformer알아두기 (자연어처리)

굉장히 핫하다. 곧있으면 쉽게 라이브러리가 나오지 않을까 한다.