KT AIVLE School 6주차 정리 - 미니프로젝트 후기

2주 전에 배운 머신러닝을 활용하여 데이터 전처리, 크롤링, 피처엔지니어링, 모델 학습 및 성능 평가, 하이퍼 파라미터 튜닝을 하는 실습을 3일동안 했습니다!

---

1일차

이 날엔 개별 프로젝트로 미세먼지 데이터 EDA를 진행 후 다음날 미세먼지 정도를 예측하는 모델을 만들고 시각화 및 평가를 했습니다! 저는 이날 아주 수월하게 실습을 하고, 다른 복습도 진행할 수 있었습니다.

---

2일차

사다리타기로 조장이 되어서 1차 미니프로젝트 경험을 살려서 구글 드라이브로 ppt를 공유하여 각자 실습했던 내용들 중에 특이상항들을 체크 후 역할분담을 시켜서 빠르게 피피티를 만들었습니다. KT에이블스쿨 측에서 피피티 만드는 시간을 일부러 짧게 잡아주었지만 저는 역할분담을 잘 해서 성공적으로 피피티의 퀄리티를 높일 수 있어서 뿌듯했습니다!

---

3일차

마지막 날엔 2일차에 했던 데이터를 그대로 가지고 케글 대회를 AI track 인 에이블러들끼리 경쟁했습니다.

 

저희 3조는 미니프로젝트 마지막날에 모이자는 이야기가 되어서 6명이서 한 테이블에 둘러 앉아 진행을 했습니다! 저는 조장 역할을 어제에 이어서 하게 되고, 문제는 실습장에 와서 노트북을 이용하면 적응이 되지 않았습니다. 풀로 찬 강의실에서 이상하게 저의 개인 노트북은 와이파이를 잡지 못해 점심시간까지 모듈들을 설치하는데 시간을 보내고 KT에서 제공해준 노트북으로는 Teams와 zoom을 같이 키면서 vscode로 주피터 노트북을 사용하니 버벅이니까 스트레스를 받고 조급해지기 시작했습니다.

 

하지만 조원들의 역할분담을 적절히 시키면서 진행을 했지만 케글에 제출한 성능이 좋지 못해 여러 시도를 했던 것을 PPT에라도 잘 정리하자는 식으로 이야기가 되어서 마무리 짓고 다른 조들의 발표를 보면서 감탄과 현자타임을 겪으며 마무리를 했습니다.

---

케글 경진 대회를 통해 부족했다고 느낀 부분

• 피쳐 간의 관계를 공식화 하여 전처리
• IQR 방법을 사용한 이상치 처리
• 새로운 피쳐 생성
• 다중공선성 파악 (실전에서는 많이 안 일어나지만 성능향상에 도움)
• PCA
• ICA
• T-SNE
• x_test의 결측치 처리 (KNN Imputer)
• KNN과 MinMaxScaler의 관계
• 첨도가 큰 데이터를 로그 스케일링
• AutoML 관련 지식
• catboost 모델
• PyCaret
• Hyperband Parameter Search
• GridSearchCV, RandomizedSearchCV
  • 모델별 params 설정 미리해두기
  • 시각화를 통한 튜닝
  • 학습성능과 평가성능 시각화
• HyperOpt로 튜닝 및 시각화
• label 인코딩 (분류 문제)
• Polynomial Features
• Transformer (핫한? 모델)4
• 앙상블 사용 경험
• Kaggle 해본 경험 (20번 제출 횟수를 3명이 모델별 시도를 해보고, 남은 3명이 전처리에 집중하면 좋았을 것 같다.)

---

느낀점

조원들에게 너무 미안했어요.. 성적을 받고 보니 3점, 2점, 1점 중에 1점을 받았더라구요. 사다리타기를 하고 했던 조장이지만, 나를 믿고 진행한 조원들에게 고마우면서도 더 좋은 결과를 얻도록 리서치를 미니 프로젝트 도중에 했으면 어땠을까라는 후회됐어요..

 

다른 조들은 그저 수업에서 배우지 않았던 KNNImputer와 catboost 를 알았다는 차이만으로 성능에 차이가 발생하여 케글 등수가 매겨지니 씁쓸하더라구요.. 심지어는 autoML을 가져다 써서 바로 성능을 상위권으로 올려놓는 것을 발표하시는 것을 보고 저는 현자타임이 왔습니다 ㅠㅠ이게 과연 진정으로 수업을 열심히 따라간다고 해서 같이 교육을 듣는 사람들을 앞지르지 못한다고 느꼈습니다.

CatBoost

GitHub - mljar/mljar-supervised: Python package for AutoML on Tabular Data with Feature Engineering, Hyper-Parameters Tuning, Ex

autoML 써보기

autoML의 정확도 결과가 직접 lightGBM으로 얻은 정확도 0.95보다 높다.

 

KT 인재상인 SPEC 처럼 스스로 먼저 궁금한 것, 최신 기술을 찾아보고 학습하는 것이 옳바른 인재상은 맞다고 생각했어요! 그래서 더 열심히 하자는 의지가 생겼습니다! 꼭 다음에 조장을 하게되면 조원들을 버스태우고 싶습니다!

 

+ 집의 본체로 실습하다가 미니프로젝트로 실습장을 간다면 미리 노트북 세팅을 점검하고 가자!