본문 바로가기

분류 전체보기

 (134)
36-37일차. 단위 프로젝트(데이터 분석과 머신러닝, 딥러닝) 더보기 36일 차 회고.  각자 데이터 모델을 만들어오고 제일 정확도가 높게 나온 사람의 모델을 쓰기로 했다. 나는 80.9의 정확도를 가지는 모델을 생성했지만 다른 팀원이 81점이 넘는 정확도를 가진 모델을 만들어서 그 모델을 쓰기로 했다. 그 뒤로 페이지를 구현하고 README를 작성했다. 다른 팀원 분이 딥러닝 모델을 완성하셔서 그에 대한 페이지 개발도 했는데 문제가 생겨서 늦게까지 남아서 작업을 하다가 내일 다시 해보기로 했다.  더보기 37일 차 회고.  어제부터 해결이 되지 않았던 딥러닝 부분을 해결했다. OneHotEncoding으로 feature 개수를 맞추는 것이 문제였는데 그럴 필요 없이 Label Encoding으로 바꾸어 feature 개수를 애초에 변하지 않도록 하였다. 이를 통해..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 2개월차 회고 2개월 차 학습  데이터 분석 Data VisualizationMatplotlibAuto ViMLsweetvizSeaborn  Machine Learning Data PreprocessingEDA상관계수왜도첨도이상치교차분석Data Cleaning완결성결측치 처리유일성중복 데이터 제거통일성 Feature Extraction Data EncodingNormal EncodingOne Hot EncodingMean EncodingOrdinal EncodingLabel EncodingTarget EncodingOrdinal Encoding Data ScalingStandard ScalerMin Max ScalerMax Abs ScalerRobust Scaler Data TransformingPower Transf..
[플레이데이터 SK네트웍스 Family AI 캠프 10기] 8주차 회고 8주 차 학습  Deep Learning - Vision Image PreprocessingTorchvision딥러닝 모델 입력을 위한 전처리 및 데이터 증강학습 과정에서 이미지 변환(DataLoader 활용)PIL이미지 파일 로드, 저장, 편집데이터 로드 시 기본 변환 수행 CNN(Convolutional Neural Network)CNN 구성 요소Convolutional Layer이미지의 중요한 특징 추출커널을 사용하여 특징 맵 생성ReLU 활성화 함수를 적용하여 비선형성 추가Pooling Layer특징 맵의 크기를 줄여 계산량을 감소시키고, 과적합 방지중요한 특징을 유지하면서 모델의 일반화 성능 향상일반적으로 Max Pooling 또는 Average Pooling 사용Fully Connected L..
35일차. Deep Learning - 추천 시스템 더보기 35일 차 회고.  벌써 2월 마지막 날이라서 시간이 빨리 간다고 느껴졌다. 2개월동안 아직 이룬 것이 없어서 초조해지기도 하는 것 같다. 가뜩이나 이번 단위 프로젝트에서 머신러닝 모델의 결과가 별로 좋지 않아서 스트레스 받기도 하는 것 같다. 일단 주말에 최대한 높여보고 월요일에 화면 구현을 할 예정이다. 4. 추천 시스템 - Item Based Filtering 부터 수정  1. 추천 시스템  추천 시스템은 정보 필터링 기술의 일종으로 특정 사용자가 관심을 가질만한 정보를 추천하는 것이다.  1-1. Cold Start Cold Start는 추천 시스템이 새로운 또는 일부 유저들에 대한 충분한 정보가 수집된 상태가 아니기 때문에 해당 유저들에게 적절한 제품을 추천해주지 못하는 문제를 말한다. ..
34일차. Deep Learning - Modular & TensorBoard & HPO Tuning 더보기 34일 차 회고.  오늘은 대부분이 그동안 배운 것들을 모듈화해 보는 수업이라 괜찮았던 것 같다. 그런데 단위 프로젝트를 하던 중에 어제까지는 PyCaret이 잘 실행됐는데 오늘 와서 다시 실행해 보니까 자꾸 오류가 떠서 답답했다. 해결을 해보려고 해도 안 돼서 그냥 내가 직접 모델을 하나씩 돌려서 비교해 보기로 했다.    1. Modular  Visual Stuido Code 가상환경 생성 및 모듈 설치py -3.12 -m venv .venv.\.venv\Scripts\activatepython -m pip install --upgrade pippip install torch torchvision torchinfopip install jupyter matplotlib tqdmpip freeze..
33일차. Deep Learning - Vision(Fine Tuning) 더보기 33일 차 회고  오늘 수업도 따라가기 조금 힘들었던 것 같다. GPU가 제한이 걸려서 제대로 돌리지 못한 탓도 있는 것 같다. 그리고 단위 프로젝트는 일단 다음주 화요일까지 각자 모델을 완성하고 화면도 구현해보기로 했다..   1. Deep Learning - Vision  Fine Tuning Data Augmentation - GPU(Google Colab - T4)# Import Module!pip install torchinfoimport osimport randomimport numpy as npimport torchfrom torch import nnfrom torch.utils.data import DataLoaderimport torchvisionfrom torchvision im..
32일차. Deep Learning - Vision(CNN & Fine Tuning) 더보기 32일 차 회고.  데이터 전처리를 아직도 어떻게 해야 할지를 모르겠다. 하나씩 추가할수록 점수가 더 낮아져서 어느 부분이 문제인지를 모르겠다.    1. Deep Learning - Vision  CNN - Data Augmentation Create Transformsample_transform = transforms.Compose([ transforms.Resize((64, 64)), transforms.ToTensor()])sample_dataset = datasets.ImageFolder(train_dir, transform=sample_transform)"""features, target = sample_dataset[0]features.shape# torch.Size([3,..
31일차. Deep Learning - Vision(Image Preprocessing & CNN) 더보기 31일 차 회고.  단위 프로젝트를 진행하는데 나름대로 데이터 전처리를 실행하고 XGBoost 모델을 사용했는데도 test score이 80도 나오지 않았다. 다른 팀원들도 최대로 잘 나온 게 80 초반이라고 해서 수요일까지 전처리에 시간을 더 써서 해보기로 했다. 데이터 분석 쪽으로 취업을 희망하고 있지만 너무 어렵고 제대로 알지 못하는 것 같아서 막막하다.    1. Deep Learning - Image Preprocessing  Torchvision Classic Image Processing Algorithm형태학적 이미지 처리(Morphological Image Processing)확장(Dilation): 이미지에서 객체의 경계에 픽셀 추가침식(Erosion): 이미지에서 객체의 경계에..

티스토리툴바