본문 바로가기

분류 전체보기

 (134)
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 11주차 회고 11주 차 학습  자연어 딥러닝 GRU(Gated Recurrent Unit)Gate 메커니즘Update Gate과거의 정보를 얼마나 유지할지 결정LSTM의 Forget Gate + Input GateReset Gate과거의 정보를 얼마나 무시할지 결정GRU 동작 과정Reset Gate 계산현재 입력과 이전 Hidden State를 활용하여 Reset Gate 값 계산Update Gate 계산현재 입력과 이전 Hidden State를 활용하여 Update Gate 값 계산후보 Hidden State 계산Reset Gate를 통해 과거 정보를 일부 잊음새로운 후보 Hidden State 계산최종 Hidden State 계산Update Gate를 통해 이전 Hidden State와 새로운 후보 Hidden ..
49일차. Huggingface - Diffusers & 자연어 딥러닝 - Text2Image & uv & LLM - OpenAI 더보기 49일 차 회고.  ADsP 자격증 합격증이 나왔고, 채용 공고 하나에서 떨어졌다. 내가 이 분야에 대해서 많이 준비하지 못해서 당연한 결과였지만, 그래도 아쉽긴 했다. 주말 동안은 빅데이터분석기사 공부를 좀 더 하고, 잠도 푹 자야 할 것 같다. 그리고 해커톤 모델 결과가 계속 안 좋게 나와서 이에 대해서 더 생각해봐야 할 것 같다.     1. Diffusers  1-1. Diffusers 이미지, 오디오, 분자의 3D 구조 등을 생성하기 위한 사전 훈련된 diffusion 모델을 제공하는 라이브러리 Diffusers 아키텍처CLIP Text Encoder사용자가 입력한 텍스트 프롬프트를 토큰화하여 임베딩 벡터로 변환한다.U-Net Model텍스트 임베딩(Text Embeddings)과 노이즈..
48일차. Vision - Generative Model & 자연어 딥러닝 - Image2Text 더보기 48일 차 회고.  자리가 바뀌었는데 뭔가 묘하게 불편해서 심히 공부만 했던 것 같다. 이제 빅데이터분석기사 시험까지 16일 남아서 매일매일 바쁘게 공부를 해야 할 것 같다. 그리고 최대한 스트레스를 받지 않도록 해야 할 것 같은데 그게 힘들어서 고민이다.    1. Generative Model  1-1. Vanilla GAN GAN(Generative Adversarial Networks)실제 데이터와 유사한 가짜 데이터를 생성하는 생성 모델생성자(Generator)와 구분자(Discriminator) 두 개의 모델이 서로 경쟁하는 방식으로 학습한다. GAN 학습 과정구분자(Discriminator) 모델이 진짜 데이터를 진짜로 분류하도록 학습시킨다.생성자(Generator) 모델이 생성한 데..
47일차. 자연어 딥러닝 - Transformer & 자연어-이미지 멀티모달 - OCR(CRNN) & Vision - Generative Model 더보기 47일 차 회고.  이번 주는 수업 내용도 어렵고 피곤하기도 해서 많이 힘들 것 같다. 그래도 이제 앞으로 2일만 더 나오면 주말이라서 더 힘을 내봐야 할 것 같다.    1. Transformer  1-1. Transformer Seq2Seq vs TransformerSeq2SeqRNN을 사용한 Encoder(NLU)와 Decoder(NLG) 형태로 이루어져 있다.순서를 학습하기 때문에 RNN을 사용한다.Attention을 사용하기 때문에 RNN을 사용한다.Encoder 연산이 끝난 후에 Decoder 연산이 시작된다.학습이 오래 걸린다.TransformerEncoder(NLU)와 Decoder(NLG) 형태로 이루어져 있다.Self-Attention을 사용하기 때문에 RNN을 사용하지 않는다...
46일차. 자연어 딥러닝 - Seq2Seq & Attention 더보기 46일 차 회고.  운동을 하려고 했는데 너무 졸려서 공부도 다 못하고 10시에 잤다. 그런데 오늘도 너무 피곤해서 일찍 자야 할 것 같다.    1. Seq2Seq  1-1. Seq2Seq of 번역 Setup!pip install -U torchtext==0.15.2import numpy as npimport pandas as pdimport torchimport randomimport osfrom tqdm.auto import tqdmSEED = 42def reset_seeds(seed=42): random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) np.random.seed(seed) torch.manual_seed(s..
45일차. 자연어 딥러닝 - GRU & Seq2Seq 더보기 45일 차 회고.  체력이 많이 떨어졌다는 게 느껴져서 다시 운동을 시작해야 할 것 같다.    1. GRU  1-1. GRU(Gated Recurrent Unit) Update GateLSTM의 Forget Gate와 Input Gate를 합친 Gate이전의 정보를 얼마나 통과시킬지 결정한다. Reset Gate이전 Hidden State의 정보를 얼마나 잊을지를 결정한다.  1-2. 텍스트 생성(Text Generator) 텍스트 생성인공지능이 기존의 텍스트로부터 새로운 텍스트를 생성하는 프로세스 활용분야챗봇인간 사용자와의 대화를 시뮬레이션하도록 설계된 컴퓨터 프로그램언어 번역텍스트를 한 언어에서 다른 언어로 변환하는 프로세스  1-3. GRU of 자연어 생성 Load Datafrom goo..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 10주차 회고 10주 차 학습  자연어 데이터 준비 Text PreprocessingLoad DataData CleaningTokenizationTokenizer 생성Stemming / Stopword어휘집 생성토큰화 진행PaddingDataset ClassDataLoader  자연어 딥러닝 CNN 1D ModelLoad DataTrain & Test Data SplitCross Validation을 할 경우 생략Data CleaningTokenizationDataset ClassDataLoaderCNN 1D ModelEmbedding LayerCNN 1D LayerFC LayerCNN 1D ModelEngineTrain StepTest Step(Early Stop)(Plot Loss)MainTrainingK-Fold..
44일차. 자연어 딥러닝 - LSTM 더보기 44일 차 회고.  오늘 오후 4시에 ADsP의 사전 점수가 공개되었다. 64점으로 합격 예정이 떴다. 빅데이터분석기사도 조금씩 공부하고 있긴 한데 예상보다 범위가 넓어서 부지런히 공부해야 할 것 같다. 그리고 주말 동안 복습도 해야 하지만 월요일에 마감인 공고들이 있어서 이에 대한 자소서도 써야 한다.    1. LSTM  1-1. 시계열 분석 시계열 데이터시간의 흐름에 따라 순서대로 관측되어 시간의 영향을 받게 되는 데이터순차적으로 발생한 연속적인 관측치는 서로 상관관계를 맺고 있다.시계열이 갖고 있는 법칙성을 발견하여 이를 모형화하고 추정된 모형을 통해 미래의 값을 예측하기 위해 분석한다.  1-2. LSTM Dataset Load Dataimport numpy as npimport pand..

티스토리툴바