04/03~04/06 텍스트 분석, 전처리, 분류 주제 : AIVLE-EDU의 1:1문의 내용 기반 문의 유형 자동 분류기 Text Analysis, Text preprocessing, Text Classification 불용어 처리, Word2Vec, Sequence, Embedding과 같은 다양한 기법을 이용해서 텍스트 분석, 전처리, 분류를 진행했다. 많이 어려웠지만 강사님의 가이드 라인 코드가 있어서 어느정도 진행은 할 수 있었다. 근데 문제는 돌아가기는 하는데 이게 왜 돌아가는지 잘 모르겠는 느낌이 컸다. 그래서 중간에 따로 기초 공부를 더 했던 것 같다. 우선 가이드라인 대로 진행을 하고 이때에는 좀 많이 쉬었던 것 같다. 그리고 금요일에 캐글 Competition이 있기 때문에 목요일 저녁..
RNN, LSTM, GRU, Seq2Seq, Attention과 같은 개념들에 대해서 배웠다. 강사님께서 직관을 가질 수 있도록 강의를 하시겠다고 강조를 하면서 강의를 하셨다. 초반에는 열심히 들으면서 이해를 했는데 점점 들을수록 집중력이 흐려져서 힘들었다. 수업을 진행하시다가 로드맵 관련 이야기를 하셔서 아쉬웠다...! 더 잘 가르쳐주실 수 있을 것 같은데 구성이 아쉬운 느낌..? 나에게 남는것은 LSTM은 금붕어라는 것..? 목요일에 휴가를 낸 것도 큰 영향이 있는 것 같다. 지금(이때로부터 3주 지난시점) 생각해보니 뭔가 언어지능 딥러닝을 배우면서 많이 꺾인 것 같다.... 갑자기 AI에 대한 흥미를 잃게 된 시점이 이때가 아닌가 싶다 아무튼 이후에 미프를 진행해야 했기에 나는 다른 사이트 강의로 ..
자연어 처리의 개념 자연어 처리 인간의 언어 텍스트를 컴퓨터로 표현하기 뜻, 문법과 같은 질적 특성을 표현, 처리할 수 있게 하는 것 텍스트를 개념·의미를 나타낼 수 있는 수로 바꾸어 나타내는 과정 문자처리와는 큰 차이가 있다. 형태소 분리(Tokenizing)와 형태소 분석기(Tokenizer) 형태소 분리 (Tokenizing) 문장—Tokenizing—> 형태소 형태소 —Embedding—> 형태소마다의 의미를 수로 표현 형태소 분석기 (Tokenizer) 전문가 분석/지도학습 기반 형태소 분석기 KoNLPy에서 Okt, Komoran, Mecab, Hannanum, Kkma를 지원 형태소 분석기별로 학습에 사용한 Corpus(말뭉치: 자연어처리를 위한 언어의 데이터셋)가 다름 필요한 경우 사용자 ..
sklearn.impute.KNNImputer Examples using sklearn.impute.KNNImputer: Release Highlights for scikit-learn 0.22 Release Highlights for scikit-learn 0.22 Imputing missing values before building an estimator Imputing missing val... scikit-learn.org KNN Imputer는 scikit-learn 모듈의 일부이다. 각 샘플의 결측치는 train set에서 찾는 n_neighbors개의 가장 가까운 이웃의 평균 값으로 대체된다. 다음은 사용법이다 from sklearn.impute import KNNImputer impute..
03/20~03/22 미니프로젝트 3차 (1) 주제 : 차량 공유업체의 차량 파손 여부 분류 데이터 전처리 직접 모델 설계 Data Augmentation Transfer Learning [ 1일차 ] DALL-E라는 이미지 생성 모델로 생성된 차량 이미지 데이터를 가지고 해당 이미지가 정상인지 파손인지를 분류하는 문제였다. 개인적으로는 전처리가 제일 많은 시간이 걸렸다. split-folder라는 라이브러리의 존재를 몰랐기 때문이다. 그래서 강사님의 가이드라인 대로 작성해서 전처리를 진행했다. 그리고 직접 모델 설계까지 진행하고 조별 미팅 시간이 되어 서로 진행한 내용을 공유했다. [ 2일차 ] 2일차에는 Data Augmentation과 VGG16을 이용한 Transfer Learning을 진행했다...
03/06 : 미니프로젝트 2차 (1) 개인 과제 (ML 과제) 조별 미팅 (과제 수행 내용 공유 및 PPT 제작) 전체 미팅 (전체 발표 / 마무리) 셀프 테스트 벌써 두번째 미니프로젝트가 시작되었다.. 시간 너무 빠르게 느껴지는 것 같다. 오늘 프로젝트는 개인 과제를 바탕으로 조별 PPT를 제작하기 때문에 개인 과제를 열심히 했다. 시계열 데이터를 이용한 한 시간 후 미세먼지 수치 예측하는 머신러닝 과제였다. 열심히 했지만 가이드라인 이상의 것을 해내지 못해서 아쉬움이 크다. 그래서 조별 미팅 때 큰 도움이 되지 못해서 아쉬울 따름이다.. 그리고 전체 미팅 때는 항상 배울 것이 많다고 느껴진다. 논문을 보고 새로운 것을 적용한 팀도 있었다. 03/07 : 미니프로젝트 2차 (2) 개별 실습 (데이터 ..
02/27~03/03 딥러닝 강의 정리 연결주의 관점 TensorFlow & Keras를 이용한 ANN 선형 회귀 (activation='linear', loss='mse') 로지스틱 회귀 (activation='sigmoid', loss='binary_crossentropy', metrics='accuracy') 멀티 클래스 (activation='softmax', loss='categorical_crossentropy', metrics='accuracy') Sequential API & Functional API 히든 레이어 e.g.) ReLU 레이어 수는 얼마나 고수준의 feature를 추출할 것인지를 의미 노드 수는 추출하려는 feature의 수를 의미 One-Hot Encoding (to_cat..
Day 14~18 - 머신러닝 00 데이터 전처리 복습 01 머신러닝 개요 02 모델링 코드 구조 환경준비 데이터 이해 데이터 준비 모델링 실습 03 성능 평가 분류 성능 평가 회귀 성능 평가 04 머신러닝 알고리즘 K-Nearest Neighbor Decision Tree Logistic Regression Support Vector Machine 05 교차검증 방법 K-fold Cross Validation 06 하이퍼파라미터 튜닝 Random Search Grid Search 첫날 후기 새로운 이장래 강사님이 오셔서 강의를 머신러닝 해주셨다. 차분하게 머신러닝에 대해서 가르쳐주셨다. 가끔씩 해주시는 개그에 웃으면서 즐겁게 배웠다. 오전에서는 살짝 졸면서 들었는데 강사님이 계속 말하면서 공부하라고 해..
Day 9 - 미니프로젝트 1차 (1) 일정 개요 프로젝트 개요 및 레퍼런스 공유 문제 해결 실습 (개인별) 조별 토의 실습 (조별) +) 코딩마스터스 시작 후기 첫 미니프로젝트가 시작되었다! 프로젝트의 주제는 데이터 분석을 통해 대중교통 수요 분석을 하는 것이었다. 우선 관련 설명을 먼저 듣고 각자 실습을 진행했다. 저번주에 데이터 다루는 법을 열심히 배웠지만 막상 하려니까 헷갈리는 부분도 많았다. 실습은 시간이 촉박했지만 그래도 시간안에 진행을 할 수 있었다. 그렇지만 데이터를 하나하나 자세히 보고 의미있는 인사이트를 도출하기에는 부족한 시간이라고 생각되었다. 개인 실습이 끝나고 8인으로 이루어진 미니프로젝트 조원들끼리 줌 미팅을 이용하여 각자 어디까지 실습했는지를 공유하고 각자 세운 가설을 공유했다..
