[플레이데이터 SK네트웍스 Family AI 캠프 10기] 10주차 회고

10주 차 학습

 

 

자연어 데이터 준비

 

Text Preprocessing

• Load Data
• Data Cleaning
• Tokenization
  • Tokenizer 생성
  • Stemming / Stopword
  • 어휘집 생성
  • 토큰화 진행
• Padding
• Dataset Class
• DataLoader

 

 

자연어 딥러닝

 

CNN 1D Model

• Load Data
  • Train & Test Data Split
    • Cross Validation을 할 경우 생략
• Data Cleaning
• Tokenization
• Dataset Class
• DataLoader
• CNN 1D Model
  • Embedding Layer
  • CNN 1D Layer
  • FC Layer
  • CNN 1D Model
• Engine
  • Train Step
  • Test Step
  • (Early Stop)
  • (Plot Loss)
  • Main
• Training
  • K-Fold
    • Cross Validation을 할 경우
  • Optimizer
  • Early Stopper
  • Loss Function
  • Training

 

 

RNN

• First Order System
  • 현재 시간의 상태가 이전 시간의 상태와 관련이 있음
• RNN(Recurrent Neural Networks, 순환 신경망)
  • 입력받는 신호의 길이가 정해지지 않은 동적 데이터를 처리함
  • CNN은 구역별로 같은 weight를 공유하지만, RNN은 시간별로 같은 weight를 공유함
• RNN Model
  • Embedding Layer
    • Input: [batch, seq_len]
    • Output: [batch, seq_len, emb_dim]
  • RNN Layer
    • Input: [batch, seq_len, emb_dim]
    • Output: [batch, n_hidden]
  • FC Layer
    • Input: [batch, n_hidden]
    • Output: [batch, target_size]

 

LSTM

• 시계열 분석
  • 시간의 흐름에 따라 순서대로 관측되어 시간의 영향을 받는 데이터
  • 시계열이 갖고 있는 법칙성을 모형화하여 미래의 값을 예측함
• LSTM(Long Short Term Memory)
  • Cell State
    • 정보가 시간에 따라 흐르도록 유지되는 메모리 저장 공간
  • Forget Gate
    • 과거 정보를 얼마나 잊을지 결정함
  • Input Gate
    • 현재 정보를 얼마나 기억할지 결정함
  • Output Gate
    • 다음 State로 전달할 Output(Hidden State)을 결정함
• LSTM Model
  • Embedding Layer
    • 시계열 데이터일 경우 생략
  • LSTM Layer
    • Input: [batch, seq_len, features]
    • Output: [batch, n_hidden]
  • FC Layer
    • Input: [batch, n_hidden]
    • Output: [batch, target_size]

 

---

10주 차 회고

 

 

Keep

 

취준 활동

 빅데이터분석기사 공부도 꾸준히 하고 있고, 자소서도 계속 쓰고 있다. 무엇이든 하고 있다는 사실이 그나마 불안하지 않게 해주는 것 같다.

 

 

Problem

 

체력 문제

 이번 주에 와서 갑자기 수업을 듣는 게 버거워지기 시작했다. 수업시간에 자꾸 졸려서 쉬는 시간에 계속 잠을 자기만 했던 것 같다. 아무래도 체력이 많이 부족해진 것이 문제인 것 같다.

 

 

Try

 

운동 시작

 이제부터 다시 운동을 시작해야 할 것 같다. 운동을 할 때는 수업시간에 힘들지는 않았던 걸 보면 역시 체력을 키우는 것이 좋다고 생각한다.