본문 바로가기

분류 전체보기126

KT AIVLE School 6주차 정리 - 미니프로젝트 후기 2주 전에 배운 머신러닝을 활용하여 데이터 전처리, 크롤링, 피처엔지니어링, 모델 학습 및 성능 평가, 하이퍼 파라미터 튜닝을 하는 실습을 3일동안 했습니다! 1일차 이 날엔 개별 프로젝트로 미세먼지 데이터 EDA를 진행 후 다음날 미세먼지 정도를 예측하는 모델을 만들고 시각화 및 평가를 했습니다! 저는 이날 아주 수월하게 실습을 하고, 다른 복습도 진행할 수 있었습니다. 2일차 사다리타기로 조장이 되어서 1차 미니프로젝트 경험을 살려서 구글 드라이브로 ppt를 공유하여 각자 실습했던 내용들 중에 특이상항들을 체크 후 역할분담을 시켜서 빠르게 피피티를 만들었습니다. KT에이블스쿨 측에서 피피티 만드는 시간을 일부러 짧게 잡아주었지만 저는 역할분담을 잘 해서 성공적으로 피피티의 퀄리티를 높일 수 있어서 뿌.. 2023. 3. 8.
KT AIVLE School 6주차 정리 - 전처리 고급 누락된 값 분석 import missingno as msno ax = msno.matrix(df) plt.show() # 파일 저장 # from time import time, localtime # today = localtime(time()) # ax.get_figure().savefig(f'images/mlpr_{today.tm_mon}{today.tm_mday}.png') fig, ax = plt.subplots(figsize=(16, 6)) (1 - df.isna().mean()).abs().plot.bar(ax=ax) # 파일 저장 # from time import time, localtime # today = localtime(time()) # fig.savefig(f'images/mlpr_{.. 2023. 3. 7.
KT AIVLE School 4주차 정리 - 회귀, 분류 모델 선택 방법 미니프로젝트를 진행하면서 코드 스니펫은 매우 중요합니다. 다른 사람들은 성능을 평가하고 있을 때, 키보드를 뚝딱이고 있다면 반성하고 미리미리 복습하면서 코드 스니펫을 만듭시다! 실습을 하면서 제공해준 자료는 내가 만든 것이 아니기 때문에 소화가 안된 코드 입니다! 강사님께서 정말 회귀와 분류에 대해서 찰떡처럼 쉽고 이해가 잘 되게 설명을 해주셔서 19년도에 혼자 처음 배웠던 머신러닝을 왜 어려워했나 싶은 마음도 듭니다! 아무튼 아래의 코드는 회귀 문제와 분류 문제를 위한 모델 선택을 할때 반복을 돌려서 어느정도 성능이 나오는지만 체크하는 코드입니다! 정성드려서 코드를 정리한 만큼 가져가신다면.. 댓글로 반응해주시면 큰 힘이됩니다! 회귀 모듈 불러오기 from sklearn.linear_model impo.. 2023. 3. 6.
[Pandas] index 활용 정리 멀티 컬럼, 멀티 인덱스 등 바로 사용하기엔 괴이한? 인구 데이터를 보기도 했었고, 에이블스쿨에서 실습했었던 데이터에도 index를 활용해서 전처리를 하는 예제가 있어서 정리를 해보려한다! 인덱스의 컬럼명 설정 df.set_index('인덱스컬럼명', inplace=True) 인덱스 변경 df.set_index('기존에 있는 컬럼명', inplace=True, append=False, drop=True) drop: 기존 인덱스 값들을 제거할지 말지 설정 append: 기존 인덱스를 유지하고 인덱스를 추가할지 말지 설정 멀티 인덱스를 하려면 리스트로 감쌀 것 인덱스 초기화 df.reset_index(drop=False, inplace=False) 전처리 과정에서 행을 제거한 경우 다시 index를 설정 d.. 2023. 3. 6.
[lightGBM] 파라미터, 메소드, 어트리뷰트 파헤치기 lightgbm.LGBMClassifier( boosting_type='gbdt', num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=100, subsample_for_bin=200000, objective=None, class_weight=None, min_split_gain=0.0, min_child_weight=0.001, min_child_samples=20, subsample=1.0, subsample_freq=0, colsample_bytree=1.0, reg_alpha=0.0, reg_lambda=0.0, random_state=None, n_jobs=None, importance_type='split', **kwargs ) skle.. 2023. 3. 3.
KT AIVLE School 5주차 정리 - Keras (Functional) 기본 Functional API 방식 keras.backend.clear_session() # 모델 저장된 메모리 초기화 """ Sequential과의 차이점 - 변수에 각 레이어의 결과를 담는다. - 모델 변수를 처음과 끝 레이어 변수를 넣어서 따로 선언한다. - Concatenate 등과 같이 히든레이어의 설정이 가능 """ il = keras.layers.Input(shape=(1,)) hi = keras.layers.Dense(512, activation='swish', name='hidden1')(il) hi = keras.layers.Dense(256, activation='swish', name='hidden2')(hi) hi = keras.layers.Dense(128, activation.. 2023. 3. 3.

티스토리툴바