[플레이데이터 SK네트웍스 Family AI 캠프 10기] 9주차 회고

9주 차 학습

 

 

자연어 데이터 준비

 

NLP(Natural Language Processing)

• 텍스트 전처리(Text Preprocessing)
  • 정제(Cleaning)
    • 소문자로 변경
      • 뜻이 다른 경우 변경하지 않음
    • 출현 횟수가 적은 단어 제거
      • 중요한 단어인 경우 제거하지 않음
    • 노이즈 제거
  • 추출(Stemming)
    • 어간(Stem)
    • 표제어(Lemmatization)
  • 불용어(Stopword)
  • 토큰화(Tokenization)
    • 형태소 분석
      • 영어
        • nltk
        • spacy
      • 한국어
        • KoNLPy
        • Kiwi
    • 어휘집(Vocabulary)
  • Embedding
    
    • Embedding
      • 문자를 숫자로 처리함
    • Sorting
      • 자주 사용하거나 중요한 문자는 작은 숫자로 처리함
    • Encoding
      • 정수 인코딩(Integer Encoding)
        • Count Encoding
        • TF-IDF Encoding
      • 원-핫 인코딩(One-Hot Encoding)
      • Word2Vec Encoding
      • Word Embedding with Neural Network
  • Padding
    • 여러 문장(토큰)의 길이를 동일하게 맞춤

 

---

9주 차 회고

 

 

Keep

 

꾸준한 노력

 끊임없이 무언가를 하고 있다. 자격증 취득을 위해 공부도 하고 있고, 코딩 테스트도 조금씩 준비하고 있고, 자소서도 작성하고 있다. 열심히 노력해서 올해 안에 원하는 회사에 원하는 직무로 취업하고 싶다.

 

 

 

Problem

 

단위 프로젝트 회고

 두 번째 단위 프로젝트를 마쳤는데 아쉬운 점이 많았다. 데이터 분석과 전처리가 중요하다는 사실을 다시 한번 깨닫게 되었다. 그리고 발표도 부족한 부분이 많았다.

 

 

 

Try

 

빅데이터분석기사 공부

 시험까지 약 한 달이 남았는데 어려울 것 같아서 조금씩 공부를 시작해야 한다. 

 

상반기 공채

 상반기 공채가 하나둘씩 시작돼서 조금씩 넣어보려고 한다. 그런데 아직은 교육에 집중하고 싶어서 많은 곳에 넣지는 않고 조금만 넣어볼 생각이다.