본문 바로가기

분류 전체보기

 (134)
55일차. Fine Tuning - DeepSpeed & Accelerate & LLM 프로젝트 더보기 55일 차 회고.  요즘 매주에 한 번씩은 아프게 되는 것 같다. 어제부터 목이 부은 것이 느껴져서 약국에서 약을 사 먹었는데 계속 아프면 수업이 끝나고 바로 병원에 들러야 할 것 같다.    1. DeepSpeed  1-1. DeepSpeed DeepSpeedMicrosoft에서 개발한 오픈 소스 딥러닝 최적화 라이브러리자연어 처리(NLP)를 위한 대규모 언어 모델 학습의 효율성과 속도를 개선한다.모델 학습을 더 빠르고 비용 효율적으로 만들기 위해 설계되었다.PyTorch 모델에 대한 몇 줄의 코드 변경만으로 속도와 확장성을 높일 수 있다. 주요 기능Model Scale모델 분할Speed효율적인 데이터 병렬 처리Scalability모델 학습 가속UsabilityZeRO 최적화 ZeRO(Zero ..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 3개월차 회고 3개월 차 학습  자연어 데이터 준비 NLP자연어 처리(NLP; Natural Language Processing)NLU(Natural Language Understanding)NLG(Natural Language Generation)텍스트 전처리(Text Preprocessing)정제(Cleaning)소문자로 변경출현 횟수가 적은 단어 제거노이즈 제거추출(Stemming)어간(Stem)표제어(Lemmatization)불용어(Stopword)토큰화(Tokenization형태소 분석어휘집(Vocabulary)EmbeddingEmbeddingSortingEncodingPadding  자연어 딥러닝 CNN주로 이미지 처리에 사용되는 신경망Convolution과 Pooling 연산을 통해 공간적 특징 추출여러 ..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 12주차 회고 12주 차 학습  LLM Open Source LLM연구나 기업에서 자유롭게 활용하고 커스터마이징 할 수 있음투명성이 높고 커뮤니티에서 활발한 기여와 개선이 이루어짐라이선스에 따라 상업적 사용이 가능하거나 제한될 수 있음성능이 상업용 모델에 비해 부족할 수 있음최근에는 OpenAI 모델과 경쟁할 수 있는 수준의 LLM도 등장하고 있음 LLaMA자연어 처리(NLP) 및 생성 AI 분야에서 활용챗봇, 텍스트 생성, 코딩 지원, 번역 등Transformer 기반 모델 ClaudeAI 챗봇 및 언어 모델논문 요약, 코드 리뷰, 고객 서비스 챗봇, 데이터 분석 지원 등 SciSpace연구 논문 검색 및 이해를 돕는 AI 기반 플랫폼연구 논문 분석, 논문 요약, 과학적 개념 이해, 연구 자료 정리  Transfor..
54일차. Hugging Face - SFT Trainer & LLM 프로젝트 더보기 54일 차 회고.  배가 아파서 점심을 건너뛰고 빅데이터분석기사 공부를 했다. 이제 겨우 일주일 남았는데 아직 공부해야 할 분량이 많이 남아있어서 불안하기도 해서 오히려 시간이 빨리 지나갔으면 좋겠다. 그리고 오늘 SQLD 사전 점수가 공개되었는데 안정적으로 합격이 되었다.    1. SFT Trainer  1-1. TRL(Transformer Reinforcement Learning) Trainer일반적인 목적의 학습텍스트 분류, QA, 요약과 같은 지도 학습에 대해 처음부터 모델을 학습한다.고도화된 커스터마이징Hyperparameters, Optimizers, Schedulers, Logging, 평가 지표를 Fine Tuning 하기 위한 광범위한 config 옵션을 제공한다.복잡한 학습 워..
53일차. Hugging Face - Transformer Trainer & LLM 프로젝트 더보기 53일 차 회고.  어제 빅데이터분석기사 이틀 치 공부를 하려고 했는데 오답노트를 작성할 때 수식이 많아서 하루치밖에 하지 못했다. 오늘은 저녁에 약속이 있어서 최대한 학원에서 공부를 끝내려고 했다. LLM 프로젝트를 수업시간에 진행하고 있는데 나 혼자 코드를 짜보라고 하면 힘들 것 같아서 주말 동안 이에 대해 공부를 해봐야 할 것 같다.    1. Transformer  1-1. Trainer Fine TuningLoad Datasetfrom datasets import load_datasetraw_datasets = load_dataset('glue', 'mrpc')"""DatasetDict({ train: Dataset({ features: ['sentence1', 'sen..
52일차. Hugging Face - Transformer Model & Pipeline & LLM - LLM 프로젝트 더보기 52일 차 회고.  어제 강의실에 자격증 책을 두고 가는 바람에 집에서 공부를 하지 못했다. 그래서 오늘 공부를 좀 더 많이 할 예정이다. 그리고 어제 우리 강의실에서 코딩테스트 시험이 있었는데 자리를 치우지 않고 가서 다음부터는 노트북을 사물함에 넣어두고 가야겠다.     1. Transformer  1-1. Model Transformertransformers.modelsTransformer 기반 모델을 PyTorch 및 TensorFlow로 구현한 모듈이다.각 모델에 맞는 Tokenizer도 함께 제공되며, AutoModel 및 AutoTokenizer 클래스를 활용하면 특정 모델에 맞는 적절한 모듈을 자동으로 불러올 수 있다.transformers.pipelinePre-Trained 모델을..
51일차. LLM - LLaMA & Claude & SciSpace & LLM 프로젝트 더보기 51일 차 회고.  여전히 몸이 안 좋아서 당분간은 저녁에 샐러드만 먹어야 할 것 같다. 그리고 빅테이터분석기사에 확률과 통계 부분이 너무 많아서 이에 대해서 어떻게 공부해야 좋을지도 알아봐야 할 것 같다.    1. Open Source LLM  1-1. Open Source LLM Open Source LLM연구나 기업에서 자유롭게 활용하고 커스터마이징할 수 있다.투명성이 높고 커뮤니티에서 활발한 기여와 개선이 이루어진다.라이선스에 따라 상업적 사용이 가능하거나 제한될 수 있다.성능이 상업용 모델에 비해 약간 부족할 수도 있지만, 최근에는 OpenAI의 모델과 경쟁할 수준의 오픈소스 LLM도 등장하고 있다. Closed Source LLM대부분 API 형태로 제공되며, 직접 모델을 수정하거나 ..
50일차. LLM - LLM 프로젝트(Chatbot) 더보기 50일 차 회고.  요즘 스트레스를 받아서 이를 풀기 위해서 계속 먹다 보니까 탈이 난 것 같다. 그래서 일단 운동보다는 간식을 끊는 걸 먼저 해야 할 것 같다. 일주일 동안 진행한 뒤에 다음 주부터 운동을 시작해야 할 것 같다. 과식을 해서 그런지 아침에 소화제를 먹긴 했지만 배가 여전히 아프고 머리도 어지럽다.    1. LLM 프로젝트  1-1. 개발환경 세팅 requirements.txtpython-dotenvstreamlitopenaijupyterpandas .gitignore.venv__pycache__.env .envOPENAI_API_KEY= 가상환경uv venv .venv -p 3.12.\.venv\Scripts\activateuv pip install -r .\requiremen..

티스토리툴바