본문 바로가기

분류 전체보기

 (134)
43일차. 자연어 딥러닝 - RNN 더보기 43일 차 회고.  밥을 먹고 나서 배가 너무 아파서 점심시간 이후로 집중을 제대로 못 했다. 다음부터는 약을 챙겨 다녀야 할 것 같다.    1. RNN  1-1. RNN Modelimport torchfrom torch import nn# Debuggingbatch_size = 10seq_len = 300input = torch.zeros(batch_size, seq_len, dtype=torch.long)input.shape# torch.Size([10, 300]) Embedding Layerclass Embedding_Layer(nn.Module): def __init__(self, vocab_len, emb_dim=128) -> None: super().__init__(..
42일차. 자연어 딥러닝 - RNN 더보기 42일 차 회고.  RNN에 대해서 배웠는데 이해가 잘 가지 않았다. 잘 모르겠는 부분은 최대한 강사님께 물어봤는데도 아직도 전부 해결이 안 된 느낌이다. 추가학습을 하거나 내일 코드를 짜면서 이해하도록 노력해봐야 할 것 같다.    0. RunPod  0-1. RunPod 설정 CloudSecure Cloud보안이 중요한 클라우드 환경Community Cloud여러 조직이 자원을 공유하는 클라우드 환경 다운로드 속도LowMedHighExtreme사용할 때마다 매번 관련 라이브러리를 다운받아야 한다.Instance PricingOn-Demand필요할 때마다 클라우드 인스턴스를 구매하여 사용한다.Spot여유 인스턴스를 경매 방식으로 구매하여 사용한다.   1. RNN  1-1. First Order..
41일차. 자연어 딥러닝 - CNN 1D Model 더보기 41일 차 회고.  빅데이터분석기사 시험이 4주도 남지 않았다는 사실을 알게 되었다. 빅데이터분석기사는 어렵다고 들었는데 일단 빨리 공부를 시작해야 할 것 같다.    1. CNN 1D Model  1-1. CNN 1D Model DataLoaderfrom torch.utils.data import DataLoaderdl_train = DataLoader( dataset=dt_train, batch_size=256, shuffle=True)dl_test = DataLoader( dataset=dt_test, batch_size=256, shuffle=False)len(dl_train)# 274features, targets = next(iter(dl_train))f..
40일차. 자연어 데이터 준비 - Text Preprocessing & 1D CNN 더보기 40일 차 회고.  계속 오류가 떠서 뭐가 문젠지 계속 봤는데 오타 때문이었다. 오타 때문에 오류가 발생하면 찾기 너무 힘든 것 같다. 다음부터는 철자가 틀리지 않았는지도 꼼꼼하게 살펴야 할 것 같다. 그리고 빅데이터분석기사랑 코딩테스트 준비를 해야하는데 공채 시기라서 지원서 쓰느라 너무 바쁘다. 이번에는 미루지 말고 빨리 지원서를 써야겠다.    1. Text Preprocessing 문제  1-1. 영어 영화 리뷰 Load Datafrom google.colab import drivedrive.mount('/content/data')import pandas as pddata_path = ''df = pd.read_csv(data_path + '/IMDB Dataset.csv')df.shape#..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 9주차 회고 9주 차 학습  자연어 데이터 준비 NLP(Natural Language Processing)텍스트 전처리(Text Preprocessing)정제(Cleaning)소문자로 변경뜻이 다른 경우 변경하지 않음출현 횟수가 적은 단어 제거중요한 단어인 경우 제거하지 않음노이즈 제거추출(Stemming)어간(Stem)표제어(Lemmatization)불용어(Stopword)토큰화(Tokenization)형태소 분석영어nltkspacy한국어KoNLPyKiwi어휘집(Vocabulary)EmbeddingEmbedding문자를 숫자로 처리함Sorting자주 사용하거나 중요한 문자는 작은 숫자로 처리함Encoding정수 인코딩(Integer Encoding)Count EncodingTF-IDF Encoding원-핫 인코딩(..
39일차. 자연어 데이터 준비 - 형태소 분석 & 어휘집 & Padding 더보기 39일 차 회고.  아직까지는 수업에 흥미가 있어서 나쁘지 않은 것 같다. 그런데 코딩 실력이나 설계하는 능력은 좀 떨어지는 것 같아서 이 부분에 대해서 더 노력을 해야 할 것 같다. 내일 SQLD 시험을 보는데 일단 여기에 집중을 하고 나머지는 주말에 생각해봐야 할 것 같다.    1. 형태소 분석  1-1. 영어 형태소 분석기 nltkpython에서 가장 오래되고 유명한 자연어 처리 라이브러리한국어 미지원import nltknltk.download('punkt')nltk.download('punkt_tab')nltk.download('averaged_perceptron_tagger')nltk.download('averaged_perceptron_tagger_eng')sentence = """A..
38일차. 자연어 데이터 준비 - NLP & Integer Encoding & Word2Vec 더보기 38일 차 회고.  새로운 단위가 시작되어서 설렜다. 하지만 어제 푹 쉬었음에도 피로가 풀리지 않아서 수업 시간에 고생을 했다. 오늘치 SQLD 공부는 학원에서 다 마쳐서 오늘도 일찍 자야 할 것 같다. 이제 시험까지 이틀도 남지 않았는데 조금만 더 고생하고 주말에 맛있는 걸 먹어야겠다. 그리고 이번에 빅데이터분석기사 시험도 신청을 해서 그에 대한 계획을 짜고 자기소개서도 조금씩 써야 할 것 같다.     1. NLP  1-1. NLP(Natural Language Processing) 자연어 처리 과정NLU(Natural Language Understanding)자연어 이해자연어 형태의 문장을 이해하는 기술NLG(Natural Language Generation)자연어 생성자연어 문장을 생성하는..
단위 프로젝트 2. 가입 고객 이탈 예측 0. Github & Data   1. 프로젝트 일정  1-1. 프로젝트 회의 (2025. 02. 21)  1-2. 데이터 전처리 (2025. 02. 22 - 2025. 03. 04) EDA Data PreprocessingData EncodingFeature Extraction  1-3. 모델링 및 학습 (2025. 02. 24 - 2025. 03. 04) 데이터 모델링XGBoostLightGBM 모델 학습  1-4. 모델 평가 및 페이지 구현 (2025. 03. 04 - 2025. 03. 05) 테스트 점수Accuracy: 81.1%AUC: 84.6%Precision: 68.0%Recall: 54.5%F1 Score: 60.5%   2. 프로젝트 회고  2-1. 담당 역할 모델 개발 및 페이지 구현 ..

티스토리툴바