[플레이데이터 SK네트웍스 Family AI 캠프 10기] 12주차 회고

12주 차 학습

 

 

LLM

 

Open Source LLM

• 연구나 기업에서 자유롭게 활용하고 커스터마이징 할 수 있음
• 투명성이 높고 커뮤니티에서 활발한 기여와 개선이 이루어짐
• 라이선스에 따라 상업적 사용이 가능하거나 제한될 수 있음
• 성능이 상업용 모델에 비해 부족할 수 있음
  • 최근에는 OpenAI 모델과 경쟁할 수 있는 수준의 LLM도 등장하고 있음

 

LLaMA

• 자연어 처리(NLP) 및 생성 AI 분야에서 활용
  • 챗봇, 텍스트 생성, 코딩 지원, 번역 등
• Transformer 기반 모델

 

Claude

• AI 챗봇 및 언어 모델
  • 논문 요약, 코드 리뷰, 고객 서비스 챗봇, 데이터 분석 지원 등

 

SciSpace

• 연구 논문 검색 및 이해를 돕는 AI 기반 플랫폼
  • 연구 논문 분석, 논문 요약, 과학적 개념 이해, 연구 자료 정리

 

 

Transformer

 

Model

• ALBERT(Encoder Model)
  • 문장 분류(Sentence Classification)
  • 개체명 인식(Named Entity Recognition)
  • 추출형 질의응답(Extractive Question Answering)
• GPT(Decoder Model)
  • 텍스트 생성(Text Generation)
• BART(Encoder-Decoder Model)
  • 요약(Summarization)
  • 번역(Translation)
  • 생성형 질의응답(Generative Question Answering)

 

Pipeline

• Tokenization
  • Encoding
• Model
  • 특징 추출(Feature Extraction)
  • Fill Mask
  • 개체명 인식(NER; Named Entity Recognition)
  • 질의응답(Question Answering)
  • 감정 분석(Sentiment Analysis)
  • 요약(Summarization)
  • 텍스트 생성(Text Generation)
  • 번역(Translation)
  • 제로샷 분류(Zero-Shot Classification)
• Post Processing
  • Decoding

 

Trainer

• Trainer
  • 일반적인 목적의 학습
    • 지도 학습에 대해 처음부터 모델 학습
      • 텍스트 분류
      • QA
      • 요약
  • 고도화된 커스터마이징
    • Hyperparameters
    • Optimizers
    • Schedulers
    • Logging
    • 평가 지표
  • 복잡한 학습 워크플로우 처리
    • Gradient Accumulation
    • Early Stopping
    • Checkpointing
    • 분산학습
  • 많은 데이터 요구
• SFT Trainer
  • SFT(Supervised Fine Tuning)
  • 간단한 인터페이스
  • 효율적인 메모리 사용
    • PEFT(Parameter Efficient)
    • 패킹 최적화(Packing Optimization)
  • 빠른 학습

 

 

---

12주 차 회고

 

 

Keep

 

• 다시 운동을 시작했고, 앞으로도 꾸준히 하면서 체력을 늘려나갈 생각이다.
• 저녁에 밥을 먹는 게 아직 부담스러워서 샐러드로 대체했는데 괜찮은 것 같아서 당분간을 계속 유지할 생각이다.
• 틈틈이 시간이 날 때마다 빅데이터분석기사 공부를 하고 있다.

 

 

Problem

 

• 데이콘 해커톤에 참여했는데 점수가 잘 나오지 않아서 다른 사람의 코드를 참고하며 공부해야 할 것 같다.
• 날씨가 계속 오락가락해서 건강에 유의해야 할 것 같다.

 

 

Try

 

• 다음 데이콘 대회에 참여 신청을 해놓은 상태이고, 이번 빅데이터분석기사 시험이 끝나면 약 한 달 동안 열심히 참여해 볼 생각이다.
• 이번 공고를 보면서 PyTorch와 TensorFlow 공식사이트를 통해서 공부를 하는 것도 좋을 것 같다는 생각이 들었다.